[논문 리뷰] Alignment-guided Temporal Attention for Video Action Recognition

Yizhou Zhao, Zhenyang Li외 2명|arXiv (Cornell University)|2022. 09. 30.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 시간적 주의 메커니즘을 향상시키기 위해 인접 프레임 간 공간 패치를 정렬한 후 시간적 주의를 적용하는 파rameter-free, 플러그인 모듈인 Alignment-guided Temporal Attention (ATA)을 제안한다. Kuhn-Munkres 알고리즘을 사용해 인접 프레임 간 특성 간의 코사인 유사도 기반으로 프레임 간 패치 수준의 최적 정렬을 수행함으로써 프레임 표현 간 상호정보를 증가시켜, 병합된 3D 주의와 유사한 성능를 달성하면서도 인과적 2D+1D 방법의 효율성을 유지한다. Kinetics-400과 Something-Something V2에서 기존 방법들을 능가하며, 계산 비용의 증가가 최소한이다.

ABSTRACT

Temporal modeling is crucial for various video learning tasks. Most recent approaches employ either factorized (2D+1D) or joint (3D) spatial-temporal operations to extract temporal contexts from the input frames. While the former is more efficient in computation, the latter often obtains better performance. In this paper, we attribute this to a dilemma between the sufficiency and the efficiency of interactions among various positions in different frames. These interactions affect the extraction of task-relevant information shared among frames. To resolve this issue, we prove that frame-by-frame alignments have the potential to increase the mutual information between frame representations, thereby including more task-relevant information to boost effectiveness. Then we propose Alignment-guided Temporal Attention (ATA) to extend 1-dimensional temporal attention with parameter-free patch-level alignments between neighboring frames. It can act as a general plug-in for image backbones to conduct the action recognition task without any model-specific design. Extensive experiments on multiple benchmarks demonstrate the superiority and generality of our module.

연구 동기 및 목표

• 영상 시간 모델링에서 프레임 간 상호작용의 효율성과 충분성 사이의 상충 관계를 해결하기 위해.
• 명시적인 정렬을 통해 프레임 표현 간 상호정보를 증가시켜 임무 관련 정보 추출을 향상시키기 위해.
• 영상 기반 백본과 호환되는 일반 목적의 플러그인 모듈을 설계하기 위해.
• 정렬 유도 주의 메커니즘이 정합성과 효율성 측면에서 인과적 및 병합된 공간-시간 주의 메커니즘을 모두 능가할 수 있음을 입증하기 위해.

제안 방법

• 연속 프레임 간 공간 패치를 정렬한 후 시간적 자기주의를 적용하는 플러그인 모듈로 ATA를 제안한다.
• Kuhn-Munkres 알고리즘(KMA)을 사용해 인접 프레임 특성 간 코사인 유사도 기반으로 최적의 패치 수준 정렬을 계산한다.
• 시간적 주의를 정렬된 특성 쌍에만 적용하여 주의 후에 해제함으로써 공간적 구조를 유지한다.
• 프레임 간 정렬이 프레임 표현 간 상호정보를 증가시켜 임무 관련 특징 학습을 향상시킨다는 이론적 증명을 제시한다.
• 전체 3D 주의를 피하기 위해 계산 효율성을 유지하며, 복잡도가 O(TH³W³ + TH²W²d + T²HWd)로 병합 3D 주의보다 낮다.
• 아키텍처 수정 없이 표준 영상 트랜스포머(예: ViT, TimeSformer, ConvNeXt)와 호환되도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 인접 프레임 간 명시적 패치 수준 정렬이 영상 모델링에서 프레임 표현 간 상호정보를 향상시킬 수 있는가?
• RQ2 정렬 유도 주의가 인과적(2D+1D) 및 병합된(3D) 공간-시간 주의 메커니즘보다 영상 행동 인식에서 정확도와 효율성 측면에서 뛰어나게 작용하는가?
• RQ3 파rameter-free, 정렬 기반 모듈이 기존 영상 인식 백본에 효과적으로 통합될 수 있는가?
• RQ4 정렬 블록의 수가 성능에 미치는 영향는 어떠한가? 최적의 성능 향상을 위해 어디에 배치하는 것이 가장 효과적인가?

주요 결과

• Kinetics-400에서 ATA는 79.6%의 top-1 정확도를 기록하여 인과적 주의(78.0%)와 병합 주의(77.4%)를 모두 초월했으며, FLOPs와 파라미터 수는 유사하게 유지되었다.
• Something-Something V2에서 ATA는 정렬이 없는 기준 모델 대비 top-1 정확도를 1.6% 향상시켜 더 강력한 운동 모델링 능력을 보였다.
• 단일 스테이지(예: 블록 0–2)에 ATA를 통합할 경우 1.3%의 정확도 향상이 이루어져, 통합이 최소한이어도 효과적임을 시사했다.
• ATA를 적용한 모델은 행동 시퀀스에서 움직이는 객체(예: 머리)에 더 집중된 활성화를 보였고, 기준 주의 메커니즘은 고정된 공간적 주의 패tern으로 인해 정적 배경까지 활성화하는 경향이 있었다.
• ATA의 복잡도는 KMA 단계(O(TH³W³))에 의해 지배되지만, 병합 3D 주의(O(T²H²W²d))보다 낮아 장시간 영상에 더 스케일러블하다.
• 정성적 분석 결과, ATA는 공간 일관성을 유지하고 운동 신호에 대한 활성화를 강화하지만, 평균화나 표준 주의 메커니즘은 동적 콘텐츠를 흐리게 하거나 잘못 정렬하는 경향이 있다.