[논문 리뷰] TAM: Temporal Adaptive Module for Video Recognition

Zhaoyang Liu, Limin Wang외 3명|arXiv (Cornell University)|2020. 05. 14.

Human Pose and Action Recognition참고 문헌 51인용 수 22

한 줄 요약

이 논문은 시간에 따라 적응하는 모듈(Temporal Adaptive Module, TAM)을 제안한다. TAM은 동적 커널 학습을 국소적이고 위치에 민감한 중요도 맵과 전역적이고 영상에 적응하는 집계 가중치로 분리함으로써, 영상에 특화된 시간 커널을 생성하는 경량이며 플러그인 방식의 모듈이다. TAM은 최소한의 계산 비용으로 2D CNN을 향상시켜, 복잡한 시간 동적 특성을 적응적으로 모델링함으로써 Kinetics-400 및 Something-Something 데이터셋에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Video data is with complex temporal dynamics due to various factors such as camera motion, speed variation, and different activities. To effectively capture this diverse motion pattern, this paper presents a new temporal adaptive module ({\bf TAM}) to generate video-specific temporal kernels based on its own feature map. TAM proposes a unique two-level adaptive modeling scheme by decoupling the dynamic kernel into a location sensitive importance map and a location invariant aggregation weight. The importance map is learned in a local temporal window to capture short-term information, while the aggregation weight is generated from a global view with a focus on long-term structure. TAM is a modular block and could be integrated into 2D CNNs to yield a powerful video architecture (TANet) with a very small extra computational cost. The extensive experiments on Kinetics-400 and Something-Something datasets demonstrate that our TAM outperforms other temporal modeling methods consistently, and achieves the state-of-the-art performance under the similar complexity. The code is available at \url{ https://github.com/liu-zhy/temporal-adaptive-module}.

연구 동기 및 목표

• 카메라 운동, 속도 변화 및 다양한 활동으로 인해 발생하는 비디오의 복잡하고 변동성이 큰 시간 동적 특성을 모델링하는 데 도전하는 것.
• 다양한 운동 패턴에 대해 높은 유연성을 가지면서도 효율적인 영상 처리를 위해 낮은 계산 비용을 유도하는 시간 모듈을 설계하는 것.
• 개별 영상 콘텐츠에 적응하는 영상 전용 시간 커널 학습을 가능하게 하여, 고정되거나 위치에만 의존하는 방법을 초월한 시간 모델링을 향상시키는 것.
• 기존 2D CNN 아키텍처에 쉽게 통합할 수 있는 모듈식이며 플러그인 방식의 구성 요소를 개발하는 것.

제안 방법

• TAM은 시간 커널을 두 가지 브랜치로 분해한다: 국소 브랜치는 시간 컨볼루션을 사용하여 단기적 특징 향상을 위한 위치에 민감한 중요도 맵을 생성한다.
• 전역 브랜치는 완전 연결층을 사용하여 위치에 영향을 받지 않는, 영상에 적응하는 집계 가중치를 생성하여 장기적 시간 의존성 모델링을 수행한다.
• 계산 비용을 줄이기 위해 전역 공간 풀링을 적용하고, 채널별로 작동하여 효율성을 유지한다.
• 중요도 맵과 집계 커널은 요소별 곱셈과 컨볼루션을 통해 결합되어 적응적인 시간 특징 표현을 생성한다.
• TAM은 2D CNN에 통합되어 FLOP 증가가 최소한인 TANET이라는 플러그인 영상 인식 아키텍처를 구성한다.
• 이 방법은 엔드 투 엔드로 훈련되며, 네트워크 내 여러 위치(예: 컨볼루션 블록 이전 또는 이후)에 삽입될 수 있다.

실험 결과

연구 질문

• RQ1 고정 또는 위치에만 의존하는 커널과 비교해 볼 때, 영상에 특화된 시간 커널이 행동 인식 성능을 향상시키는가?
• RQ2 국소 중요도와 전역 집계의 이중 수준 적응 기법이 단기 및 장기 시간 동적 특성을 얼마나 효과적으로 포착하는가?
• RQ3 TAM은 Kinetics-400 및 Something-Something V1/V2와 같이 다양한 운동 패턴을 포함한 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 모듈은 최신 기준 성능을 달성하면서도 낮은 계산 비용을 유지하는가?

주요 결과

• TAM은 Kinetics-400에서 표준 시간 풀링, 3D 컨볼루션, TSM, TEINet 및 Non-local 블록보다 우수한 성능을 기록하며, 2D CNN과 유사한 FLOPs 수준에서 새로운 최신 기준 정확도를 달성한다.
• 운동이 지배적인 Something-Something V1 및 V2 데이터셋에서 TANET은 최신 기준 성능을 달성하여 복잡한 운동 패턴에 대한 강력한 일반화 능력을 입증한다.
• 학습된 커널의 시각화 결과, 다양한 영상과 동작 간에 분포 형태와 중앙값에 뚜렷한 다양성이 있음을 확인하여, 모듈이 영상에 특화된 커널을 생성할 수 있음을 입증한다.
• 국소 브랜치의 중요도 맵은 영상 간에 다양한 주의를 보이며 국소 운동 콘텐츠에 민감함을 나타내며, 전역 집계 커널은 적응적으로 장거리 의존성을 포착한다.
• TAM의 커널 분포는 Kinetics-400(외관 중심)과 Something-Something(운동 중심) 간에 뚜렷하게 다름을 보이며, I3D의 고정 커널과 달리 도메인 인식 적응을 반영한다.
• TAM의 설계는 최소한의 FLOP 증가로 효과적인 시간 모델링을 가능하게 하여, 실세계 영상 인식 시스템에서의 효율적 구현에 적합하다.