[논문 리뷰] Keeping Your Eye on the Ball: Trajectory Attention in Video Transformers

Mandela Patrick, Dylan Campbell외 6명|arXiv (Cornell University)|2021. 06. 09.

Human Pose and Action Recognition참고 문헌 89인용 수 49

한 줄 요약

본 논문은 비디오 트랜스포머에서 트래젝토리 어텐션을 도입하여 모션 트래젝토리를 따라 풀링하고, Orthoformer를 통해 어텐션을 효율적으로 근사한다. Kinetics, Something–Something V2, Epic-Kitchens 및 관련 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

In video transformers, the time dimension is often treated in the same way as the two spatial dimensions. However, in a scene where objects or the camera may move, a physical point imaged at one location in frame $t$ may be entirely unrelated to what is found at that location in frame $t+k$. These temporal correspondences should be modeled to facilitate learning about dynamic scenes. To this end, we propose a new drop-in block for video transformers -- trajectory attention -- that aggregates information along implicitly determined motion paths. We additionally propose a new method to address the quadratic dependence of computation and memory on the input size, which is particularly important for high resolution or long videos. While these ideas are useful in a range of settings, we apply them to the specific task of video action recognition with a transformer model and obtain state-of-the-art results on the Kinetics, Something--Something V2, and Epic-Kitchens datasets. Code and models are available at: https://github.com/facebookresearch/Motionformer

연구 동기 및 목표

• 비디오 트랜스포머에서 시간을 별도 축으로 간주하기보다 모션 트래젝토리를 포착하여 더 나은 시간 모델링을 구현한다.
• 암시적으로 결정된 비디오의 모션 경로를 따라 정보를 집계하는 트래젝토리 어텐션을 제안한다.
• 전략적 복잡도인 어텐션의 제곱 계산 비용과 메모리 비용을 효율적인 근사(Orthoformer)로 해결한다.
• 표준 비디오 액션 인식 벤치마크에서 최첨단 성능을 보여준다.
• 토큰화, 위치 인코딩, 아키텍처 선택의 영향에 대한 분석과 엎세을 제공한다.

제안 방법

• 트래젝토리 어텐션을 두 단계 어텐션으로 도입: (i) 프레임 간 공간 주의를 통해 트래젝토리 토큰을 형성하고, (ii) 이 경로를 따라 1D 시간적 주의를 적용하여 풀링한다.
• Compute trajectory tokens via per-frame spatial attention: tilde{y}_{stt'} = sum_{s'} v_{s't'} * softmax(q_{st}^T k_{s't'}) / sum_{s''} softmax(q_{st}^T k_{s''t'}) .
• Project trajectory tokens to new queries/keys/values and apply 1D temporal attention across time: y_{st} = sum_{t'} tilde{v}_{stt'} * softmax(tilde{q}_{st}^T tilde{k}_{stt'}) / sum_{t''} softmax(tilde{q}_{st}^T tilde{k}_{st t''}).
• Orthoformer를 제안한다. 이는 프로토타입의 최대로 직교한 부분집합을 선택하여 고비용 어텐션의 복잡도를 프로토타입이 고정될 때 실제로는 거의 선형으로 줄이는 저비용 어텐션 근사이다.
• 비디오 데이터의 시간적 중복성을 활용하기 위해 시간에 걸쳐 프로토타입을 공유하여 메모리 절감을 가능하게 한다.
• 알고리즘(Algorithm 1 및 Algorithm 2)을 제공하고 Nyströmformer 및 Performer와 비교하여 더 적은 수의 프로토타입으로 경쟁력 있거나 우수한 정확성을 보여준다.

실험 결과

연구 질문

• RQ1 비디오 트랜스포머에서 어텐션을 어떻게 바이어스하여 공간과 시간을 동등하게 다루지 않고 모션 트래젝토리를 명시적으로 모델할 수 있는가?
• RQ2 트래젝토리 기반 풀링이 Something–Something V2과 같은 강한 모션 신호 데이터셋에서 공동/공간-시간 어텐션에 비해 행동 인식을 개선하는가?
• RQ3 프로토타입 기반 어텐션 근사(Orthoformer)가 비디오 데이터 및 그 밖의 영역에서 정확도를 유지하면서 상당한 계산 및 메모리 효율성을 제공하는가?
• RQ4 입력 토큰화(입방 큐빅 vs 제곱)와 공간-시간 위치 인코딩이 트래젝토리 어텐션 성능에 미치는 영향은 무엇인가?
• RQ5 토래젝토리 어텐션은 표준 비디오 트랜스포머 베이스라인에서 일반적인 설계 선택(토큰화, 위치 인코딩)과 어떻게 상호작용하는가?

주요 결과

• 트래젝토리 어텐션은 모션에 민감한 데이터셋에서 공동 또는 공간-시간 분할 어텐션보다 더 높은 정확도를 달성하며, Something–Something V2에서 특히 큰 이점을 보인다.
• 모델은 Kinetics, Something–Something V2, Epic-Kitchens를 포함한 다수 벤치마크에서 최첨단 결과를 보여준다.
• Orthoformer는 정확도에서 경쟁력 있거나 우수한 성능을 제공하면서 정확한 어텐션과 Nyströmformer에 비해 메모리 및 계산을 대폭 감소시키는 경향을 보인다(Large Long Range Arena 및 비디오 인식 벤치마크에서).
• 트래젝토리 어텐션의 성능은 큐빅 토큰화와 분리된 공간-시간 위치 인코딩에서 향상되며, 특히 모션이 풍부한 데이터셋에서 더 뚜렷한 효과를 보인다.
• 프로토타입의 시간적 공유와 프레임별 정규화는 효율성과 정확도에 기여하며, 이러한 설계가 바뀌면 성능 저하가 나타나는 ablation이 제시된다.