[논문 리뷰] Hidden Two-Stream Convolutional Networks for Action Recognition

Yi Zhu, Zhenzhong Lan외 2명|arXiv (Cornell University)|2017. 04. 02.

Human Pose and Action Recognition참고 문헌 30인용 수 99

한 줄 요약

논문은 MotionNet을 통해 원시 프레임에서 직접 모션 표현을 학습하는 Hidden Two-Stream Networks를 제시하며, optical flow를 사전 계산하지 않고 실시간 행동 인식이 가능한 엔드투엔드 프레임워크를 달성합니다. 네 가지 데이터셋에서 경쟁력 있는 정확도를 보이고, 두 단계 기반 baselines보다 훨씬 빠릅니다.

ABSTRACT

Analyzing videos of human actions involves understanding the temporal relationships among video frames. State-of-the-art action recognition approaches rely on traditional optical flow estimation methods to pre-compute motion information for CNNs. Such a two-stage approach is computationally expensive, storage demanding, and not end-to-end trainable. In this paper, we present a novel CNN architecture that implicitly captures motion information between adjacent frames. We name our approach hidden two-stream CNNs because it only takes raw video frames as input and directly predicts action classes without explicitly computing optical flow. Our end-to-end approach is 10x faster than its two-stage baseline. Experimental results on four challenging action recognition datasets: UCF101, HMDB51, THUMOS14 and ActivityNet v1.2 show that our approach significantly outperforms the previous best real-time approaches.

연구 동기 및 목표

• 고비용인 optical flow 사전 계산을 피하기 위한 행동 인식을 위한 모션 표현의 엔드-투-엔드 학습을 동기 부여한다.
• MotionNet을 도입하여 프레임 쌍에서 광학 흐름과 유사한 모션을 지도학습 없이 학습한다.
• MotionNet을 시퀀스 CNN과 스택하고 행동 분류를 위해 엔드-투-엔드로 학습한다.
• 표준 벤치마크에서 향상된 효율성과 경쟁력 있는 정확도를 입증한다.

제안 방법

• MotionNet을 제안한다. 이는 프레임 간 모션을 역방향 워핑을 사용하여 한 프레임에서 다른 프레임을 재구성함으로써 학습하는 완전 합성곱 네트워크다.
• 픽셀 재구성, 스무스니스, SSIM 기반 지각 손실 등 비지도 다중 스케일 손실로 MotionNet을 학습시킨다.
• 예측 흐름을 클립화하고 정규화하며 양자화하여 시퀀셜 스트림 CNN에 피드로 제공하여 엔드-투-엔드 스태킹을 가능하게 한다.
• 스태킹과 브랜칭을 비교하고, 모션 특징을 행동 라벨에 투영하도록 스태킹을 구현한다.
• 숨겨진 두 스트림 아키텍처에서 시간적 모션 스트림과 공간 스트림의 예측을 융합한다.
• 표준 분할 및 데이터 증가를 사용하여 네 가지 데이터셋(UCF101, HMDB51, THUMOS14, ActivityNet)에서 평가한다.

실험 결과

연구 질문

• RQ1 원시 프레임에서 명시적 optical flow 사전 계산 없이도 모션 정보를 엔드-투-엔드로 학습할 수 있는가?
• RQ2 비지도 MotionNet 학습이 Temporal CNN과 스택될 때 행동 인식 성능을 향상시키는가?
• RQ3 다중 작업 목적(비지도 손실 포함)을 포함한 엔드-투-엔드 학습이 행동 인식에 이로운가?
• RQ4 숨겨진 두 스트림 융합이 정확도와 속도 면에서 전통적 두-스트림 방식과 비교해 어떤 차이가 있는가?

주요 결과

• 비지도 학습으로 학습된 MotionNet은 광학 흐름과 유사한 표현을 제공하며, 이를 시퀀스 CNN과 함께 스택하면 강한 행동 인식 성능을 보인다.
• 엔드-투-엔드 숨겨진 두 스트림 네트워크는 온-더-플라이 모션 추정 및 흐름 저장 없이 약 10배 빠르다.
• MotionNet과 함께 스택된 시간적 스트림이 공간 스트림과 융합될 때 단일 스트림 기반보다 정확도가 향상된다.
• 비지도 손실 및 행동 손실을 포함한 엔드-투-엔드 미세조정은 테스트 구성 중 가장 좋은 인식 결과를 낳는다.
• MotionNet은 강건성과 일반화 능력을 보이며 optical-flow 벤치마크에서도 경쟁력을 보이고 동시에 강력한 행동 인식 결과를 제공한다.