[논문 리뷰] A Comprehensive Study of Deep Video Action Recognition

Yi Zhu, Xinyu Li외 8명|arXiv (Cornell University)|2020. 12. 11.

Human Pose and Action Recognition참고 문헌 274인용 수 115

한 줄 요약

이 논문은 비디오 동작 인식을 위한 200+ 딥 러닝 방법을 조사하고, 데이터셋과 도전과제를 논의하며, 인기 모델을 벤치마크하고 재현성을 위한 코드를 공개한다.

ABSTRACT

Video action recognition is one of the representative tasks for video understanding. Over the last decade, we have witnessed great advancements in video action recognition thanks to the emergence of deep learning. But we also encountered new challenges, including modeling long-range temporal information in videos, high computation costs, and incomparable results due to datasets and evaluation protocol variances. In this paper, we provide a comprehensive survey of over 200 existing papers on deep learning for video action recognition. We first introduce the 17 video action recognition datasets that influenced the design of models. Then we present video action recognition models in chronological order: starting with early attempts at adapting deep learning, then to the two-stream networks, followed by the adoption of 3D convolutional kernels, and finally to the recent compute-efficient models. In addition, we benchmark popular methods on several representative datasets and release code for reproducibility. In the end, we discuss open problems and shed light on opportunities for video action recognition to facilitate new research ideas.

연구 동기 및 목표

• 비디오 액션 인식을 위한 딥 러닝 연구 전반을 200+ 논문에 걸쳐 조사한다.
• 데이터셋을 분류하고 모델 설계와 평가에 미치는 영향을 정리한다.
• 두 스트림 네트워크에서 3D CNN 및 계산 효율적 아키텍처로의 모델 진화를 분석한다.
• 표준 데이터셋에서 대표적 방법을 벤치마크해 정확도와 효율성을 비교한다.
• 향후 연구 개발을 이끌 열려 있는 문제와 기회를 제시한다.

제안 방법

• 비디오 동작 인식의 핵심 발전에 대한 연대기적 검토(손으로 만든 특징에서부터 CNN, 두 스트림 네트워크, 3D CNN, 계산 효율적 모델까지).
• 모델 설계와 평가를 형성하는 데이터셋과 도전에 대한 체계적 논의.
• 표준 벤치마크에서 인기 있는 방법의 경험적 벤치마킹을 통해 정확도와 효율성을 평가한다.
• 재현성을 보장하기 위한 PyTorch와 MXNet의 모델 구현 공개.
• 영상 행동 인식의 향후 연구를 위한 오픈 문제와 기회 분석.

실험 결과

연구 질문

• RQ1 어떤 데이터셋과 평가 프로토콜이 비디오 동작 인식 모델 설계에 가장 큰 영향을 미쳤는가?
• RQ2 영상 동작 인식에서 시간 모델링과 계산 효율성을 다루기 위해 모델 아키텍처가 어떻게 발전해 왔는가?
• RQ3 두 스트림과 3D CNN 접근 방식 간의 트레이드오프는 무엇이며, 계산 효율적인 방법은 어떻게 비교되는가?
• RQ4 비디오 동작 인식을 발전시키기 위해 남아 있는 오픈 문제와 기회는 무엇인가?
• RQ5 다중 스트림 및 다중 모달리티 접근 방식(포즈, 객체, 오디오)이 인식 성능에 어떻게 기여하는가?

주요 결과

• 200편이 넘는 논문과 17개의 영향력 있는 데이터셋이 이 분야와 평가 관행을 형성했다.
• 두 스트림 네트워크는 RGB 프레임과 옵티컬 플로우를 통해 외관과 운동 정보를 결합하는 중요성을 확립했다.
• 3D CNN(예: I3D)은 시공간 특성을 직접 모델링함으로써 성능을 크게 향상시켰고, 특히 Kinetics400과 같은 대규모 데이터셋에서 사전학습 후에 그렇다.
• 세그먼트 기반 및 계산 효율적 모델(TSN, TSM, X3D 등)은 장기 시간 모델링과 더 큰 데이터셋에 대한 배치를 가능하게 했다.
• 핵심 벤치마크에서 얕은 구조에서 더 깊은 아키텍처로, 2D에서 3D 표현으로의 전환 시 상당한 이점을 보였으며, 사전학습 후 I3D가 UCF101 및 HMDB51에서 높은 성능을 달성했다.
• 저자들은 재현성을 높이고 연구자를 위한 모델 묶음을 제공하기 위해 코드를 공개한다.