[논문 리뷰] Shifted Chunk Transformer for Spatio-Temporal Representational Learning

Xuefan Zha, Wentao Zhu외 3명|arXiv (Cornell University)|2021. 08. 26.

Human Pose and Action Recognition참고 문헌 55인용 수 7

한 줄 요약

이 논문은 시공간 표현 학습을 위한 메모리 및 계산 효율적인 Transformer 아키텍처인 Shifted Chunk Transformer(SCT)을 제안한다. 이미지 조각 자기주의에 국소성 감지 해싱(LSH)을 적용하고, 프레임 간 운동을 모델링하기 위해 이동된 다중 헤드 자기주의를 도입함으로써, 기존 방법보다 더 적은 파라미터와 FLOPs로 Kinetics-400, Kinetics-600, UCF101, HMDB51에서 최고 성능을 달성한다.

ABSTRACT

Spatio-temporal representational learning has been widely adopted in various fields such as action recognition, video object segmentation, and action anticipation. Previous spatio-temporal representational learning approaches primarily employ ConvNets or sequential models,e.g., LSTM, to learn the intra-frame and inter-frame features. Recently, Transformer models have successfully dominated the study of natural language processing (NLP), image classification, etc. However, the pure-Transformer based spatio-temporal learning can be prohibitively costly on memory and computation to extract fine-grained features from a tiny patch. To tackle the training difficulty and enhance the spatio-temporal learning, we construct a shifted chunk Transformer with pure self-attention blocks. Leveraging the recent efficient Transformer design in NLP, this shifted chunk Transformer can learn hierarchical spatio-temporal features from a local tiny patch to a global video clip. Our shifted self-attention can also effectively model complicated inter-frame variances. Furthermore, we build a clip encoder based on Transformer to model long-term temporal dependencies. We conduct thorough ablation studies to validate each component and hyper-parameters in our shifted chunk Transformer, and it outperforms previous state-of-the-art approaches on Kinetics-400, Kinetics-600, UCF101, and HMDB51.

연구 동기 및 목표

• 순수 Transformer 모델이 영상 이해 작업에서 높은 계산 비용과 메모리 요구량을 가지는 문제를 해결하기 위해.
• 영상 시퀀스에서 미세한 프레임 내 특징과 복잡한 프레임 간 운동 변동성을 향상시켜 모델링하기 위해.
• 높은 정확도를 유지하면서 FLOPs와 모델 크기를 줄이는 효율적인 계층적 Transformer 아키텍처를 설계하기 위해.
• 최소한의 계산 비용으로 순수 Transformer 클립 인코더를 통해 장기적인 시간적 의존성을 효과적으로 모델링하기 위해.

제안 방법

• 국소성 감지 해싱(LSH)을 사용한 이미지 조각 자기주의를 통해 주의 계산 비용을 줄이고, 작은 패치에서 미세한 국소적 특징 학습을 가능하게 한다.
• 이동된 다중 헤드 자기주의 모듈이 인접 프레임 간 공간적으로 이동된 패치를 주의 집중함으로써, 프레임 간 변동성을 명시적으로 모델링한다.
• 계층적 설계를 통해 국소적 이미지 조각에서부터 전반적인 영상 클립까지 특징를 처리함으로써 다중 척도 표현 학습을 가능하게 한다.
• 장기적인 시간적 의존성을 낮은 추가 계산 비용으로 모델링하기 위해 순수 Transformer 기반 클립 수준의 주의 모듈을 도입한다.
• 표준 RGB 입력을 사용하여 ImageNet-21K에서 사전 학습하고, 동작 인식 벤치마크에서 미세 조정한다.
• Hyperparameters 및 구성 요소는 Kinetics-400, Kinetics-600, UCF101, HMDB51에서 광범위한 추론 분석을 통해 검증된다.

실험 결과

연구 질문

• RQ1 순수 Transformer 아키텍처가 계산 비용을 낮게 유지하면서도 영상 동작 인식에서 최고 성능을 달성할 수 있는가?
• RQ2 국소성 감지 해싱(LSH)이 영상 Transformer의 주의 계산을 얼마나 효과적으로 줄일 수 있으며, 특징 품질을 손상시키지 않는가?
• RQ3 이동된 자기주의가 영상 시퀀스에서 운동과 프레임 간 관계를 얼마나 효과적으로 모델링하는가?
• RQ4 순수 Transformer 기반 클립 수준의 주의 모듈이 최소한의 오버헤드로 장기적인 시간적 의존성을 효과적으로 모델링할 수 있는가?

주요 결과

• SCT-L은 Kinetics-400에서 사전 학습한 후 HMDB51에서 84.6%의 top-1 정확도, UCF101에서 98.7%의 top-1 정확도를 기록하여 이전 최고 성능 방법을 초월한다.
• SCT-L은 Kinetics-400에서 83.0%의 top-1 정확도, Kinetics-600에서 84.3%의 top-1 정확도를 달성하여 ViViT-L과 TimeSformer보다 각각 1.7%, 1.3% 높다.
• SCT-S는 단지 ImageNet 사전 학습만으로 UCF101에서 98.0%의 top-1 정확도를 달성하여 매우 적은 사전 학습 데이터로도 강력한 일반화 능력을 보였다.
• SCT-L은 총 0.343 TFLOPs와 60M 파라미터만을 사용하며, ViViT-L(399.2 TFLOPs)보다 훨씬 적은 자원으로도 더 높은 정확도를 달성한다.
• 추론 분석 결과, LSH 기반의 조각 주의와 이동된 자기주의가 성능 향상에 필수적임을 확인하였으며, 둘 중 하나를 제거하면 정확도가 2% 이상 감소한다.
• SCT-M의 추론 시간은 단일 V100 GPU에서 0.072초로, 높은 성능에도 불구하고 빠른 추론 효율성을 보였다.