[논문 리뷰] End-to-End Learning of Motion Representation for Video Understanding

Lijie Fan, Wenbing Huang외 4명|arXiv (Cornell University)|2018. 04. 02.

Human Pose and Action Recognition인용 수 31

한 줄 요약

이 논문은 TV-L1 광학 흐름 알고리즘의 반복적 단계를 신경망 레이어로 전개하여 광학 흐름 유사 움직임 표현을 학습하는 가역적이고 엔드 투 엔드로 트레이닝 가능한 신경망 TVNet을 제안한다. TVNet은 UCF101에서 95.4%의 최고 성능 행동 인식 정확도와 HMDB51에서 72.6%의 정확도를 기록하여 사전 계산된 광학 흐름과 학습된 기반 모델을 모두 능가하며, 사전에 계산된 흐름을 저장할 필요 없이 효율적인 공동 학습을 가능하게 한다.

ABSTRACT

Despite the recent success of end-to-end learned representations, hand-crafted optical flow features are still widely used in video analysis tasks. To fill this gap, we propose TVNet, a novel end-to-end trainable neural network, to learn optical-flow-like features from data. TVNet subsumes a specific optical flow solver, the TV-L1 method, and is initialized by unfolding its optimization iterations as neural layers. TVNet can therefore be used directly without any extra learning. Moreover, it can be naturally concatenated with other task-specific networks to formulate an end-to-end architecture, thus making our method more efficient than current multi-stage approaches by avoiding the need to pre-compute and store features on disk. Finally, the parameters of the TVNet can be further fine-tuned by end-to-end training. This enables TVNet to learn richer and task-specific patterns beyond exact optical flow. Extensive experiments on two action recognition benchmarks verify the effectiveness of the proposed approach. Our TVNet achieves better accuracies than all compared methods, while being competitive with the fastest counterpart in terms of features extraction time.

연구 동기 및 목표

• 사전에 계산된 광학 흐름에 의존하는 이단계 동영상 행동 인식 방법에서의 비효율성과 파ipeline 분리 문제를 해결하기 위해.
• 움직임 표현을 엔드 투 엔드로 학습하는 신경망을 개발하여 광학 흐름 특징을 저장하거나 재계산할 필요 없이 학습하도록 하기 위해.
• 움직임 특징 학습과 최종 작업 네트워크를 공동 최적화할 수 있도록 하여 표준 광학 흐름을 초월한 작업 특화 적응을 가능하게 하기 위해.
• 기존의 흐름 기반 및 3D CNN 방법과 비교해도 계산 효율성을 유지하면서 행동 인식 정확도를 향상시키기 위해.

제안 방법

• TVNet은 TV-L1 광학 흐름 방법의 반복 최적화 단계를 학습 가능한 신경망 레이어 시퀀스로 전개하여 구성된다.
• TV-L1 알고리즘의 각 반복 단계는 원래 솔버의 수학적 구조를 유지하면서 고유한 신경망 레이어로 모델링된다.
• 사전 훈련된 TV-L1 가중치로 초기화되어 추가 훈련 없이도 즉시 사용할 수 있다.
• TVNet은 공간 스트림(예: BN-Inception)과 함께 이중 스트림 아키텍처에 통합되며, 광학 흐름과 분류 목표를 조합한 다중 태스크 손실을 통해 공동으로 미세조정된다.
• 모델은 엔드 투 엔드로 훈련되어 기울기가 움직임 특징 추출기 전파가 가능해지며, 작업 특화 적응이 가능해진다.
• 추론 시에는 고정된 1:2 가중치로 RGB 스트림과 움직임 스트림의 예측을 융합하는 이중 스트림 조합 전략이 적용된다.

실험 결과

연구 질문

• RQ1 비디오 데이터에서 직접 엔드 투 엔드로 트레이닝 가능한 방식으로 광학 흐름 유사 특징을 학습할 수 있는 신경망을 설계할 수 있는가?
• RQ2 기존의 최적화 알고리즘(TV-L1)을 신경망 구조로 전개하는 것이 비디오 이해 작업에서 표준 광학 흐름보다 더 높은 성능을 낼 수 있는가?
• RQ3 움직임 특징 추출기의 엔드 투 엔드 미세조정은 고정된 광학 흐름보다 행동 인식 정확도를 향상시키는가?
• RQ4 제안된 방법은 사전에 계산하고 저장하는 광학 흐름 특징이 필요 없이도 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• TVNet은 UCF101에서 95.4%의 행동 인식 정확도를 기록하여 TV-L1, FlowNet2.0 및 3D CNNs를 포함한 모든 비교 방법을 능가한다.
• HMDB51에서는 72.6%의 정확도를 기록하여 모든 기반 모델을 능가하며 도전적인 행동 인식 벤치마크에서 강력한 일반화 능력을 보여준다.
• 고정된 상태(즉, 미세조정 없이)에서도 DIS-Fast 및 DeepFlow와 같은 다른 광학 흐름 기반 모델보다 뛰어난 성능을 보이며 강력한 초기화를 확인한다.
• 공동 손실을 통한 엔드 투 엔드 훈련은 단일 분류 손실을 사용하는 경우보다 성능을 향상시키며, 광학 흐름 감독이 특징 학습을 향상시킨다는 것을 시사한다.
• TV-L1 입력을 사용하는 이중 스트림 베이스라인보다 TVNet이 크게 승리하며, UCF101에서 6.5% 향상, HMDB51에서 11.6% 향상되어 엔드 투 엔드 움직임 학습의 이점을 입증한다.
• TVNet은 경쟁 가능한 추론 속도와 낮은 광학 흐름 오차를 기록하여 실세계 구현에 있어 정확하고 효율적인 솔루션임을 입증한다.