[논문 리뷰] TEINet: Towards an Efficient Architecture for Video Recognition

Zhaoyang Liu, Donghao Luo외 7명|arXiv (Cornell University)|2019. 11. 21.

Human Pose and Action Recognition참고 문헌 31인용 수 28

한 줄 요약

TEINet는 시간적 모델링을 운동 감지 특징 강화와 채널별 시간 상호작용으로 분리하는 시간 강화 및 상호작용(Temporal Enhancement-and-Interaction, TEI) 모듈을 도입함으로써 효율적인 비디오 인식 아키텍처를 제안한다. 이 모듈을 2D ResNets에 통합함으로써, 3D CNN보다 훨씬 낮은 FLOPs를 사용하면서도 Something-Something V1/V2에서 최고 성능을 기록하고, Kinetics-400에서는 경쟁력 있는 성능을 달성한다.

ABSTRACT

Efficiency is an important issue in designing video architectures for action recognition. 3D CNNs have witnessed remarkable progress in action recognition from videos. However, compared with their 2D counterparts, 3D convolutions often introduce a large amount of parameters and cause high computational cost. To relieve this problem, we propose an efficient temporal module, termed as Temporal Enhancement-and-Interaction (TEI Module), which could be plugged into the existing 2D CNNs (denoted by TEINet). The TEI module presents a different paradigm to learn temporal features by decoupling the modeling of channel correlation and temporal interaction. First, it contains a Motion Enhanced Module (MEM) which is to enhance the motion-related features while suppress irrelevant information (e.g., background). Then, it introduces a Temporal Interaction Module (TIM) which supplements the temporal contextual information in a channel-wise manner. This two-stage modeling scheme is not only able to capture temporal structure flexibly and effectively, but also efficient for model inference. We conduct extensive experiments to verify the effectiveness of TEINet on several benchmarks (e.g., Something-Something V1&V2, Kinetics, UCF101 and HMDB51). Our proposed TEINet can achieve a good recognition accuracy on these datasets but still preserve a high efficiency.

연구 동기 및 목표

• 3D CNN의 높은 계산 비용 문제를 해결하면서도 강력한 성능을 유지하는 것.
• 운동 관련 특징을 강화하고 시간적 맥락을 효율적으로 모델링할 수 있는 플러그인식 시간 모듈을 개발하는 것.
• 모든 2D 컨볼루션을 3D로 대체하지 않고도 2D CNN이 공간-시간 표현을 효과적으로 학습할 수 있도록 하는 것.
• 운동 민감도가 높은 데이터셋인 Something-Something V1/V2에서 최고 성능을 달성하면서도 계산 비용을 최소화하는 것.
• RGB 입력과 ImageNet 사전학습만을 사용하여 Kinetics, UCF101, HMDB51 등 다양한 데이터셋으로의 일반화 능력을 입증하는 것.

제안 방법

• TEI 모듈은 두 개의 순차적 구성 요소인 운동 강화 모듈(Motion Enhanced Module, MEM)과 시간 상호작용 모듈(Temporal Interaction Module, TIM)으로 구성된다.
• MEM은 운동을 대체로 나타내는 시간 차분을 사용하며, 채널별 어텐션을 적용하여 배경을 억제하고 운동 관련 특징을 강화한다.
• TIM은 작은 시간 윈도우 내에서 국소적이고 채널별 1D 컨볼루션을 적용하여 단기 시간 의존성을 모델링한다.
• TEI 블록은 2D ResNets의 잔차 블록에 삽입되어 아키텍처의 대대적인 수정 없이도 플러그 앤 플레이 방식으로 통합될 수 있다.
• 이 방법은 공간 모델링에 오직 2D 컨볼루션을 사용하고, TEI 블록을 통해 최소한의 3D 유사 시간 모델링을 도입한다.
• 전체 3D 컨볼루션을 피하고 채널별 경량 연산을 사용함으로써 추론 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 경량이고 플러그인식 모듈이 계산 비용을 증가시키지 않으면서도 2D CNN의 비디오 동작 인식 성능을 향상시킬 수 있는가?
• RQ2 운동 강화와 시간 상호작용을 분리함으로써 종단 간 3D 컨볼루션보다 더 나은 성능과 효율성을 달성할 수 있는가?
• RQ3 TEI 블록을 갖춘 2D CNN이 Something-Something V1/V2와 같은 운동 민감도가 높은 데이터셋에서 최고 성능을 달성할 수 있는가?
• RQ4 Kinetics-400에서 TEINet은 2D-TSN/TSM 및 3D-I3D 모델과 비교해 정확도와 효율성 면에서 어떻게 비교되는가?
• RQ5 Kinetics 사전학습에서 미세조정을 수행할 때, TEINet은 UCF101과 HMDB51와 같은 작은 데이터셋으로도 잘 일반화되는가?

주요 결과

• TEINet는 16프레임 입력을 사용하여 Something-Something V2에서 61.3%의 top-1 정확도를 기록했으며, TSM-16f×10보다 1.9% 높은 성능을 보였다.
• TEINet 8f 모델은 Something-Something V1에서 TSM-16f×10과 TSM-En을 모두 초월하여 10개의 코너스플릿을 사용할 때 75.8%의 top-1 정확도를 달성했다.
• Kinetics-400에서 TEINet는 16프레임 입력을 사용해 32프레임 입력을 사용한 NL I3D보다 1.3% 높은 정확도를 기록했으며, FLOPs도 더 적게 사용했다.
• UCF101과 HMDB51에서도 TEINet는 I3D-RGB와 R(2+1)D-RGB보다 뛰어난 성능을 보였으며, Kinetics 사전학습에서 미세조정을 수행한 결과였다.
• 단일 P100 GPU에서 높은 처리량과 낮은 지연 시간을 유지하며, 허용 가능한 추론 속도를 확보하여 효율성을 입증했다.
• 제거 실험을 통해 MEM과 TIM이 성능 향상에 기여하는 것으로 확인되어, 분리된 아키텍처 설계의 효과성을 검증했다.