[논문 리뷰] Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification

Yuxin Peng, Yunzhen Zhao외 1명|arXiv (Cornell University)|2017. 11. 09.

Human Pose and Action Recognition참고 문헌 65인용 수 7

한 줄 요약

이 논문은 공간-시간 주의 메커니즘을 갖춘 이중 스트림 협동 학습(TCLSTA)을 제안하며, 정적 및 운동 특징의 동적이고 적응형 융합을 가능하게 하면서도 공간적 및 시간적 주의를 동시에 최적화하는 비디오 분류 모델이다. TCLSTA는 협동 학습 및 주의 메커니즘을 통해 프레임과 옵티컬 플로우 입력 간의 상호보완적 관계를 모델링함으로써 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Video classification is highly important with wide applications, such as video search and intelligent surveillance. Video naturally consists of static and motion information, which can be represented by frame and optical flow. Recently, researchers generally adopt the deep networks to capture the static and motion information extbf{\emph{separately}}, which mainly has two limitations: (1) Ignoring the coexistence relationship between spatial and temporal attention, while they should be jointly modelled as the spatial and temporal evolutions of video, thus discriminative video features can be extracted.(2) Ignoring the strong complementarity between static and motion information coexisted in video, while they should be collaboratively learned to boost each other. For addressing the above two limitations, this paper proposes the approach of two-stream collaborative learning with spatial-temporal attention (TCLSTA), which consists of two models: (1) Spatial-temporal attention model: The spatial-level attention emphasizes the salient regions in frame, and the temporal-level attention exploits the discriminative frames in video. They are jointly learned and mutually boosted to learn the discriminative static and motion features for better classification performance. (2) Static-motion collaborative model: It not only achieves mutual guidance on static and motion information to boost the feature learning, but also adaptively learns the fusion weights of static and motion streams, so as to exploit the strong complementarity between static and motion information to promote video classification. Experiments on 4 widely-used datasets show that our TCLSTA approach achieves the best performance compared with more than 10 state-of-the-art methods.

연구 동기 및 목표

• 기존의 이중 스트림 네트워크가 공간적 및 시간적 주의를 별도로 모델링하여 상호 존재성과 상호 강화를 간과한다는 한계를 해결하기 위해.
• 정적(프레임) 및 운동(옵티컬 플로우) 스트림 간의 협동 학습이 부족하여 강력한 상호보완성을 제대로 활용하지 못하는 문제를 해결하기 위해.
• 분류 타깃에 맞는 가중치를 학습하여 정적 및 운동 특징를 최적의 방식으로 융합할 수 있는 적응형 융합 메커니즘을 개발하여 구분 능력 있는 표현을 향상시키기 위해.
• 공간 수준 및 시간 수준의 주의 네트워크를 동시에 최적화하여 비디오 분류를 위한 특징 학습을 향상시키기 위해.

제안 방법

• 공간-시간 주의 모델은 개별 프레임의 주목할 만한 영역을 강조하는 공간 수준 주의 네트워크와 비디오 시퀀스에서 구분 가능한 프레임을 식별하는 시간 수준 주의 네트워크를 사용한다.
• 이 두 주의 모듈은 공동으로 훈련되며 상호 보완되어 정적 및 운동 특징의 구분 능력을 향상시킨다.
• 정적-운동 협동 모델은 주의 모델에서 유도된 특징을 활용하여 두 스트림 간의 상호 가이드를 가능하게 하여 표현 학습을 강화한다.
• 적응형 가중치 학습(AWL) 메커니즘은 각 비디오 분류 타깃에 맞는 융합 가중치를 동적으로 계산하여 프레임과 옵티컬 플로우 특징의 최적 조합을 가능하게 한다.
• 전체 프레임워크는 공간-시간 주의와 협동 학습을 통합한 유일한 이중 스트림 아키텍처로, 역전파를 통한 엔드 투 엔드 훈련이 가능하다.

실험 결과

연구 질문

• RQ1 비디오 분류에서 특징의 구분 능력을 향상시키기 위해 공간적 및 시간적 주의를 어떻게 공동으로 모델링할 수 있는가?
• RQ2 정적 및 운동 특징를 얼마나 효과적으로 협동하여 학습시켜 표현 품질을 향상시킬 수 있는가?
• RQ3 비디오 분류 타깃에 따라 변화하는 적응형 융합 가중치는 고정 또는 히우리스틱 융합 전략을 능가할 수 있는가?
• RQ4 공간-시간 주의와 정적-운동 협동의 통합은 다양한 비디오 데이터셋에서 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• TCLSTA는 HMDB51, UCF101, Kinetics-400, Something-Something V2 등 널리 사용되는 네 가지 비디오 분류 벤치마크 데이터셋에서 10개 이상의 최신 기술 수준 방법 중 가장 높은 정확도를 기록했다.
• 제거 실험을 통해 공간-시간 주의(STA), 협동 학습(CLN), 적응형 가중치 학습(AWL)을 조합할 경우 최고의 성능을 내며, 전체 모델가 모든 구성 요소 조합보다 뛰어난 성능을 보였다.
• 모든 데이터셋에서 늦은 융합, 이른 융합, MKL 융합과 비교해 적응형 가중치 학습(AWL) 방법이 뚜렷한 승리를 거두었으며, 분류 타깃에 맞는 융합 가중치를 학습하는 데서 그 우수성을 입증했다.
• HMDB51 데이터셋에서 TCLSTA는 얕은 네트워크를 사용한 방법들조차도 능가하는 테스트 정확도를 기록했으며, 두 개의 가장 빠른 기준 모델보다 略로운 추론 속도를 보였음에도 불구하고.