[논문 리뷰] Unsupervised Learning of Long-Term Motion Dynamics for Videos

Zelun Luo, Boya Peng외 3명|arXiv (Cornell University)|2017. 01. 07.

Human Pose and Action Recognition참고 문헌 43인용 수 32

한 줄 요약

이 논문은 장기적인 시간적 의존성을 포착하기 위해 원자적인 3차원 운동 흐름의 시퀀스를 예측하는 비지도 비디오 표현 학습 프레임워크를 제안한다. RGB-D 입력에 기반한 LSTM 기반 인코더-디코더 네트워크를 사용함으로써, 인간 레이블이 없는 조건에서도 압축되고 특징적인 표현을 학습하며, NTU RGB+D 및 MSR Daily Activity 3D 데이터셋에서 행동 인식 성능이 최신 비지도 방법들을 능가한다. NTU RGB+D에서 88.7%의 정확도를 기록했고, MSR Daily Activity 3D에서는 3D 궤적 기반 방법보다 15% 향상된 성능을 보였다.

ABSTRACT

We present an unsupervised representation learning approach that compactly encodes the motion dependencies in videos. Given a pair of images from a video clip, our framework learns to predict the long-term 3D motions. To reduce the complexity of the learning framework, we propose to describe the motion as a sequence of atomic 3D flows computed with RGB-D modality. We use a Recurrent Neural Network based Encoder-Decoder framework to predict these sequences of flows. We argue that in order for the decoder to reconstruct these sequences, the encoder must learn a robust video representation that captures long-term motion dependencies and spatial-temporal relations. We demonstrate the effectiveness of our learned temporal representations on activity classification across multiple modalities and datasets such as NTU RGB+D and MSR Daily Activity 3D. Our framework is generic to any input modality, i.e., RGB, Depth, and RGB-D videos.

연구 동기 및 목표

• 인간 레이블이 없는 조건에서 장기적인 운동 의존성을 포착하는 강건한 비지도 비디오 표현을 학습하는 것.
• 기존 방법들이 2D 광학 흐름이나 조밀한 궤적과 같은 고차원적이거나 시야에 의존적인 운동 표현에 의존하는 한계를 해결하는 것.
• 원자적인 저차원 3차원 유동의 시퀀스로 운동을 모델링함으로써, 원시 픽셀 수준의 또는 2D 운동 신호 대신 더 나은 행동 인식 성능을 향상시키는 것.
• 학습된 표현이 다양한 입력 모odal(색상, 깊이, RGB-D)과 데이터셋 간에 일반화되는지를 입증하는 것.

제안 방법

• 프레임 쌍을 사용하여 원자적인 3차원 유동의 시퀀스를 예측하는 프레임워크로, RGB-D 데이터에서 밀도 있는 3차원 광학 흐름의 클러스터링을 통해 계산된다.
• LSTM 네트워크를 사용한 인코더-디코더 아키텍처로 입력 프레임 쌍에서 시간적 표현을 학습한다.
• 인코더는 컨volutional 네트워크를 사용해 입력 프레임을 다운샘플링하여 저차원 특징을 추출한 후 LSTM 처리를 수행한다.
• 디코더는 역합성(convolutional layer, deconvolutional layer)을 사용하여 원자적인 3차원 유동의 시퀀스를 재구성함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 예측된 유동 시퀀스와 진짜 유동 시퀀스 간의 재구성 오차를 최소화함으로써 비지도 방식으로 모델을 훈련한다.
• 모달리티 간 일반화: 색상 → 유동, 깊이 → 유동, RGB-D → 유동으로 확장되어 교차 모달 평가가 가능하다.

실험 결과

연구 질문

• RQ1 원자적인 3차원 운동 유동의 시퀀스를 예측하는 것이 비디오 표현 학습을 위한 효과적인 비지도 사전 훈련 목표가 될 수 있는가?
• RQ2 2D 운동이 아닌 3D 운동을 모델링할 경우, 학습된 비디오 표현의 분류 능력은 어떻게 영향을 받는가?
• RQ3 비지도 표현이 다양한 입력 모달리티(RGB, 깊이, RGB-D)와 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ4 예측된 운동 시퀀스의 길이를 늘릴 경우, 후속 행동 인식을 위한 표현 품질은 어떻게 향상되는가?
• RQ5 행동 인식 정확도 측면에서 제안된 방법은 최신 비지도 비디오 표현 학습 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 NTU RGB+D 데이터셋에서 행동 인식에 대해 88.7%의 상위-1 정확도를 달성하여 이전의 비지도 방법들을 능가한다.
• MSR Daily Activity 3D 데이터셋에서는 3D 궤적 기반 방법보다 15% 향상된 성능을 보이며, 뛰어난 분류 능력을 입증한다.
• 더 긴 운동 시퀀스(8단계 예측)를 예측할 경우, 짧은 시퀀스(3단계)보다 더 높은 분류 정확도를 기록하여 장기적 의존성이 표현 품질을 향상시킨다는 것을 확인한다.
• RGB-D 데이터로 훈련된 모델은 피지컬 테스트 없이도 RGB 전용 입력에 대해 잘 일반화되며, 피지컬 테스트 없이 UCF-101에서 53.0%의 meanAP를 기록하여 다른 비지도 방법들을 능가한다.
• ImageNet 사전 훈련 특징과 결합(후기 융합)했을 경우, UCF-101에서 79.3%의 meanAP를 기록하여 비지도 LSTM 기반 방법조차도 능가한다.
• 절단 분석 결과, 2D 운동이 아닌 3D 운동을 모델링할 경우 성능 향상이 뚜렷하게 나타나 3D 운동 모델링의 중요성을 입증한다.