[논문 리뷰] Transformers in Action Recognition: A Review on Temporal Modeling

Elham Shabaninia, Hossein Nezamabadi–pour외 1명|arXiv (Cornell University)|2022. 12. 29.

Human Pose and Action Recognition인용 수 10

한 줄 요약

이 논문은 영상 행동 인식에서 시간적 모델링을 위한 트랜스포머 기반 방법을 검토하며, 영상 프레임 간 장거리 의존성을 포괄하는 자기주의 주의 메커니즘을 강조한다. 방법을 운동 기반, 3D CNN, RNN, 트랜스포머 및 하이브리드 방법으로 분류하여, 학습 가능한 주의 가중치와 위치 인코딩을 통해 전역 시간 역학을 모델링하는 데서 트랜스포머의 우수성을 부각시킨다.

ABSTRACT

In vision-based action recognition, spatio-temporal features from different modalities are used for recognizing activities. Temporal modeling is a long challenge of action recognition. However, there are limited methods such as pre-computed motion features, three-dimensional (3D) filters, and recurrent neural networks (RNN) for modeling motion information in deep-based approaches. Recently, transformers success in modeling long-range dependencies in natural language processing (NLP) tasks has gotten great attention from other domains; including speech, image, and video, to rely entirely on self-attention without using sequence-aligned RNNs or convolutions. Although the application of transformers to action recognition is relatively new, the amount of research proposed on this topic within the last few years is astounding. This paper especially reviews recent progress in deep learning methods for modeling temporal variations. It focuses on action recognition methods that use transformers for temporal modeling, discussing their main features, used modalities, and identifying opportunities and challenges for future research.

연구 동기 및 목표

• 영상 행동 인식에서 시간적 변동을 모델링하기 위한 최근의 딥 러닝 방법을 조사하는 것.
• 기존의 접근 방식을 운동 기반 특징, 3D CNN, RNN, 트랜스포머 및 하이브리드 모델의 다섯 가지 그룹으로 분류하는 것.
• 트랜스포머 기반 프레임워크 내에서 다양한 시각적 모달리티(RGB, 깊이, 스켈레톤)의 성능을 분석하는 것.
• 트랜스포머를 사용한 시간적 모델링에서의 열린 과제와 향후 연구 방향을 식별하는 것.
• CNN과 RNN의 局부 연산 대비 자기주의 주의가 전역적 맥락 학습을 어떻게 가능하게 하는지 종합적으로 개괄하는 것.

제안 방법

• 논문은 행동 인식에서 트랜스포머 기반 아키텍처를 분석하기 위해 체계적인 리뷰 방법론을 적용한다.
• 쿼리, 키, 밸류로 정의된 자기주의 주의 메커니즘을 검토하며, 스케일된 도트곱 주의는 다음과 같다: $ Z = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $.
• 다중 헤드 주의는 병렬로 여러 주의 헤드를 계산하여 서로 다른 부분공간에서의 표현 학습을 향상시킨다.
• 순서가 유지되도록 입력 시퀀스에 위치 인코딩을 추가한다. 트랜스포머는 반복성 또는 컨볼루션 인덕티브 바이어스를 갖지 않기 때문이다.
• 인코더-디코더 구조의 트랜스포머를 검토하며, 각 하위 레이어 이후 잔차 연결과 레이어 정규화를 적용한다.
• 3D 컨볼루션과 RNN과 같은 전통적 방법과 트랜스포머를 비교하며, 주의의 장거리 의존성 모델링 능력을 강조한다.

실험 결과

연구 질문

• RQ1 트랜스포머는 3D CNN과 RNN에 비해 영상 행동 인식에서 시간적 모델링을 어떻게 향상시키는가?
• RQ2 효과적인 장거리 시간적 의존성 학습을 가능하게 하는 트랜스포머 모델의 핵심 아키텍처 구성 요소는 무엇인가?
• RQ3 RGB, 깊이, 스켈레톤과 같은 다양한 시각적 모달리티는 트랜스포머 기반 시간 모델링과 결합했을 때 어떻게 성능을 내는가?
• RQ4 트랜스포머를 행동 인식 작업에 적용할 때의 주요 제약 조건과 과제는 무엇인가?
• RQ5 CNN 또는 RNN과 같은 다른 아키텍처와 트랜스포머를 융합한 하이브리드 모델은 시간 모델링에서 성능을 어떻게 향상시키는가?

주요 결과

• 자기주의 주의 메커니즘 덕분에 전역적 주의 기반으로 장거리 시간적 의존성을 효과적으로 모델링할 수 있어, RNN과 3D CNN에 비해 트랜스포머가 뛰어난 성능을 보인다.
• 자기주의 주의는 고정된 수신장이 있는 컨볼루션과 달리 모든 프레임에 걸쳐 동적이고 맥락 인식 기반의 특징 가중치를 허용한다.
• 다중 헤드 주의는 시퀀스의 여러 부분공간에 동시에 주의를 기울일 수 있게 하여 표현 학습과 일반화 능력을 향상시킨다.
• 반복성 또는 컨볼루션 인덕티브 바이어스가 없기 때문에, 순서 유지를 위해 위치 인코딩이 필수적이다.
• CNN 또는 RNN과 트랜스포머를 융합한 하이브리드 모델은 국소적 공간적 특징과 장거리 시간적 맥락을 모두 활용함으로써 성능 향상을 보였다.
• 성공에도 불구하고 트랜스포머는 대규모 레이블 데이터셋이 필요하며 계산 비용이 높아 실시간 배포에 도전 과제를 안긴다.