[논문 리뷰] Fusing Multi-Stream Deep Networks for Video Classification

Zuxuan Wu, Yu–Gang Jiang외 4명|arXiv (Cornell University)|2015. 09. 21.

Anomaly Detection Techniques and Applications참고 문헌 37인용 수 28

한 줄 요약

이 논문은 공간적, 운동적, 청각적, 장기적 시간적 특징을 적응형 융합 방법과 클래스 관계 정규화를 통해 융합하는 다중 스트림 딥 러닝 프레임워크를 제안하며, 상호보완적인 다중모odal 신호와 클래스별 최적화된 융합 가중치를 활용하여 UCF-101에서 92.6%의 상위-1 정확도와 Columbia Consumer Videos에서 84.9%의 정확도를 달성하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper studies deep network architectures to address the problem of video classification. A multi-stream framework is proposed to fully utilize the rich multimodal information in videos. Specifically, we first train three Convolutional Neural Networks to model spatial, short-term motion and audio clues respectively. Long Short Term Memory networks are then adopted to explore long-term temporal dynamics. With the outputs of the individual streams, we propose a simple and effective fusion method to generate the final predictions, where the optimal fusion weights are learned adaptively for each class, and the learning process is regularized by automatically estimated class relationships. Our contributions are two-fold. First, the proposed multi-stream framework is able to exploit multimodal features that are more comprehensive than those previously attempted. Second, we demonstrate that the adaptive fusion method using the class relationship as a regularizer outperforms traditional alternatives that estimate the weights in a "free" fashion. Our framework produces significantly better results than the state of the arts on two popular benchmarks, 92.2\% on UCF-101 (without using audio) and 84.9\% on Columbia Consumer Videos.

연구 동기 및 목표

• 공간적, 운동적, 청각적, 장기적 시간적 동적 특징과 같은 다중모달 비디오 정보를 충분히 활용하지 못하는 기존 비디오 분류 방법의 한계를 해결하기 위해.
• 모든 스트림에 동일하게 대응하는 단순한 융합 전략이 클래스별 관련성이나 의미적 관계를 고려하지 않아 최적의 성능을 내지 못하는 문제를 해결하기 위해.
• 각 클래스에 맞는 최적의 가중치를 적응적으로 학습하는 융합 메커니즘을 개발하여 예측의 강건성과 정확도를 향상시키기 위해.
• 융합 과정 중에 클래스 간 관계를 정규화 항으로 통합할 경우, 표준 융합 접근 방식을 뛰어넘어 성능 향상이 뚜렷하게 이루어진다는 것을 입증하기 위해.

제안 방법

• 시각적 프레임(공간적), 스택된 광학 흐름(단기 운동), 청각 스펙트로그램(청각)에서 특징을 추출하기 위해 세 개의 별도된 컨volution 신경망(ConvNets)을 학습한다.
• 장기적 시간적 의존성을 모델링하기 위해 공간 및 운동 스트림의 프레임 수준 특징에 대해 장기 기억망(LSTM)을 적용한다.
• 자동으로 추정된 클래스 간 관계로 정규화된 손실 함수를 최적화하여 클래스별 융합 가중치를 적응적으로 학습하는 새로운 적응형 융합 방법을 제안한다.
• 희소성과 의미적 클래스 상관관계에 대한 사전 지식을 동시에 사용하여 융합 과정을 정규화함으로써, 관련 없는 클래스 간의 부적절한 지식 공유를 방지한다.
• 네트워크 가중치와 융합 파rameter를 동시에 최적화하는 엔드 투 엔드 학습을 통해 다중모달 신호의 효과적인 통합을 가능하게 한다.
• 추가적인 레이블이 필요 없이 데이터에서 자동으로 추정된 클래스 관계를 활용하여 융합 가중치 학습 중에 자기지도 정규화(self-supervised regularization)를 구현한다.

실험 결과

연구 질문

• RQ1 공간적, 운동적, 청각적, 장기적 시간적 특징을 통합하는 다중 스트림 딥 네트워크 아키텍처가 단일 스트림 또는 제한된 스트림 접근 방식에 비해 비디오 분류 정확도를 크게 향상시킬 수 있는가?
• RQ2 클래스별 가중치와 클래스 관계 정규화를 갖춘 적응형 융합이 고정되거나 제약 없이 적용된 융합 전략보다 성능이 뛰어나게 되는가?
• RQ3 제안된 융합 방법이 복잡한 동작 인식 작업에서 비디오 클래스 간 의미적 관계를 얼마나 효과적으로 포착하는가?
• RQ4 공간적 및 운동 스트림과 함께 통합된 깊이 학습 프레임워크에서 청각 및 장기적 시간적 특징이 성능 향상에 얼마나 기여하는가?
• RQ5 수작업 특징에 의존하지 않고도 UCF-101 및 Columbia Consumer Videos와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 다중 스트림 프레임워크는 UCF-101에서 92.6%의 상위-1 정확도를 달성하여 수작업 특징에 의존하는 이전 최고 기술 수준 방법들을 뛰어넘는 성능을 보였다.
• Columbia Consumer Videos(CCV) 데이터셋에서는 84.9%의 정확도를 기록하여 새로운 SOTA 결과를 수립하였으며, 트림되지 않은 웹 영상에 대한 강력한 일반화 능력을 보였다.
• 클래스 관계 정규화를 통한 적응형 융합 방법은 정규화되지 않은 융합 대비 최대 1.7% 향상된 성능을 보이며, 의미 지향적 가중치 학습의 효과를 입증했다.
• 제거 실험(ablation study) 결과, CCV에서 청각 스트림을 제거할 경우 정확도가 0.9% 감소하고, UCF-101에서는 1.4% 감소하여 청각 특징이 인식 정확도에 기여한다는 것을 입증했다.
• CCV에서의 클래스별 성능 분석 결과, 모든 클래스에서 일관되고 뚜렷한 향상이 관찰되어 융합 메커니즘의 강건성과 신뢰성을 입증했다.
• 추가 모odal과 더 나은 융합 전략을 통합함으로써, LSTMs나 이중 스트림 네트워크를 사용한 이전 연구들보다도 우수한 성능을 달성했다.