[논문 리뷰] Knowing What, Where and When to Look: Efficient Video Action Modeling with Attention

Juan-Manuel Pérez-Rúa, Brais Martínez외 4명|arXiv (Cornell University)|2020. 04. 02.

Human Pose and Action Recognition참고 문헌 61인용 수 17

한 줄 요약

이 논문은 비디오 행동 인식에서 '무엇'(콘텐츠), '어디서'(공간적 위치), '언제'(시간적 동역학)를 공동으로 모델링하는 경량이며 분해형 아키텍처인 What-Where-When (W3) 비디오 어텐션 모듈을 제안한다. 특징 맵을 1차원 채널 및 2차원 공간 텐서로 분해하고 효율적인 시간적 추론을 적용함으로써, W3는 TSM에 비해 1.5–3.2%의 추가 FLOPs만으로 Something-Something V2 및 EPIC-Kitchens와 같은 벤치마크에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Attentive video modeling is essential for action recognition in unconstrained videos due to their rich yet redundant information over space and time. However, introducing attention in a deep neural network for action recognition is challenging for two reasons. First, an effective attention module needs to learn what (objects and their local motion patterns), where (spatially), and when (temporally) to focus on. Second, a video attention module must be efficient because existing action recognition models already suffer from high computational cost. To address both challenges, a novel What-Where-When (W3) video attention module is proposed. Departing from existing alternatives, our W3 module models all three facets of video attention jointly. Crucially, it is extremely efficient by factorizing the high-dimensional video feature data into low-dimensional meaningful spaces (1D channel vector for `what' and 2D spatial tensors for `where'), followed by lightweight temporal attention reasoning. Extensive experiments show that our attention model brings significant improvements to existing action recognition models, achieving new state-of-the-art performance on a number of benchmarks.

연구 동기 및 목표

• 비구속 비디오에서 반복적인 공간적 및 시간적 정보가 분류 가능한 표현 학습을 방해하므로, 공간-시간 어텐션을 모델링하는 데 도전하는 것.
• 기존 연구에서 자주 간과되는 '무엇'(콘텐츠), '어디서'(공간적 집중), '언제'(시간적 동역학)를 공동으로 모델링하는 비디오 어텐션 메커니즘을 설계하는 것.
• 최소한의 계산 비용 증가로 높은 성능을 달성하여, 어텐션을 실제 비디오 행동 인식 시스템에 적용 가능하게 하는 것.
• I3D 및 TSM과 같은 깊은 네트워크에서 기울기 소실 문제를 야기하는 깊은 비디오 어텐션 모듈의 학습 불안정성을 해결하는 것.
• 성능 저하 없이 복잡한 분해형 어텐션 모듈의 엔드 투 엔드 학습을 가능하게 하는 학습 전략을 개발하는 것.

제안 방법

• W3 모듈은 비디오 특징을 두 구성요소로 분해한다: '무엇'(콘텐츠 기반 어텐션)을 위한 1차원 채널 벡터와 '어디서'(공간 어텐션)를 위한 2차원 공간 텐서로, 효율적인 계산을 가능하게 한다.
• 시간적 추론은 경량 1D 및 3D CNN을 사용하여 각 구성요소에 별도로 적용되며, 모델이 시간에 따라 변화하는 어텐션을 학습할 수 있도록 한다.
• 역전파 중 어텐션 모듈으로의 기울기 흐름을 향상시키기 위해 어텐션 가이드드 특징 정련 모듈을 도입한다.
• 성숙한 특징 기반 정규화(MFR)는 단계적 자기 지식 정착 기법으로, 학습 안정성을 높이고 열악한 국소 최적점 회피에 기여한다.
• W3 모듈은 TSM 및 I3D와 같은 기존 행동 인식 모델에 플러그인 블록으로 삽입되어, FLOPs 증가가 최소한이면서 엔드 투 엔드 학습이 가능하다.
• 표준 교차 엔트로피 손실, 데이터 증강, 혼합 정밀도 학습을 사용하여 모델을 훈련하고, 추론은 중심 캐포로 단일 클립을 사용한다.

실험 결과

연구 질문

• RQ1 계산 비용 증가 없이 '무엇', '어디서', '언제'를 통합된 비디오 어텐션 메커니즘으로 공동으로 모델링할 수 있는가? 이는 행동 인식 정확도 향상에 기여하는가?
• RQ2 채널 및 공간 어텐션을 별도의 저차원 구성요소로 분해함으로써 비디오 행동 인식의 성능 및 효율성에 어떤 영향을 미치는가?
• RQ3 시간적 추론 구성요소를 갖는 깊은 비디오 어텐션 모듈의 학습을 안정화시키기 위해 필요한 학습 전략은 무엇인가?
• RQ4 기존 어텐션 메커니즘인 CBAM 및 Non-Local와 비교할 때, 제안된 W3 모듈은 정확도 및 효율성 측면에서 어떻게 다른가?
• RQ5 추론 중 어텐션 메커니즘이 의미 있는 공간-시간 영역을 얼마나 잘 포착하는가? 그리고 정적 공간 어텐션과는 어떻게 다를까?

주요 결과

• TSM 기반 모델에 W3 모듈을 추가했을 때, Something-Something V2에서 Top-1 정확도 52.6%를 달성하여 기반 TSM 모델보다 5.4%p 높은 성능을 보였다.
• TSM 대비 1.5–3.2%의 추가 FLOPs만으로도, FLOPs가 75.8% 증가한(65.0에서 115.0 GFLOPs로) Non-Local 모듈을 능가하는 성능을 보였다.
• 성숙한 특징 기반 정규화(MFR) 구성요소를 제거하면 Top-1 정확도가 52.6%에서 50.3%로 감소하여, MFR가 모델의 안정성과 성능에 핵심적인 역할을 한다는 것을 입증했다.
• 제거 실험 결과, 시간 어텐션은 공간 어텐션보다 더 중요하며, 시간 어텐션을 제거하면 정확도가 5.4%p 감소(52.6%에서 47.2%로)함을 확인했다.
• CBAM와 조합했을 때 MFR는 추가로 1.4%p의 정확도 향상을 가져왔지만, W3와 조합했을 때는 2.4%p 향상되었으며, 이는 더 풍부한 공간-시간 특징이 정규화 과정을 향상시킨다는 것을 시사한다.
• 시각화 결과, W3는 활동이 일어나는 단계에서만 어텐션을 집중시키며, 객체, 손, 환경 등 관련 맥락을 포착하는 반면, CBAM는 활동 상태와 관계없이 정적 공간 어텐션을 적용한다는 점에서 뚜렷한 차이를 보였다.