[논문 리뷰] Predictive Learning: Using Future Representation Learning Variantial Autoencoder for Human Action Prediction

Runsheng Yu, Shi Zhenyu외 2명|arXiv (Cornell University)|2017. 11. 25.

Human Pose and Action Recognition참고 문헌 26인용 수 5

한 줄 요약

이 논문은 미래 프레임 생성을 통해 향후 행동과 강한 인과적 연관성을 가진 특징을 학습함으로써 인간 행동 예측 성능을 향상시키는 새로운 비지도 학습 프레임워크인 향후 표현 학습 변분 오토에인드어(FL-VAE)를 제안한다. UT 및 UCF101 데이터셋에서의 실험 결과, 특히 부분 관찰 조건에서 FL-VAE가 최신 기법들을 능가함을 입증하며, 미래 생성이 행동 예측을 위한 표현 학습에 유리함을 보여준다.

ABSTRACT

The unsupervised Pretraining method has been widely used in aiding human action recognition. However, existing methods focus on reconstructing the already present frames rather than generating frames which happen in future.In this paper, We propose an improved Variantial Autoencoder model to extract the features with a high connection to the coming scenarios, also known as Predictive Learning. Our framework lists as following: two steam 3D-convolution neural networks are used to extract both spatial and temporal information as latent variables. Then a resample method is introduced to create new normal distribution probabilistic latent variables and finally, the deconvolution neural network will use these latent variables generate next frames. Through this possess, we train the model to focus more on how to generate the future and thus it will extract the future high connected features. In the experiment stage, A large number of experiments on UT and UCF101 datasets reveal that future generation aids Prediction does improve the performance. Moreover, the Future Representation Learning Network reach a higher score than other methods when in half observation. This means that Future Representation Learning is better than the traditional Representation Learning and other state- of-the-art methods in solving the human action prediction problems to some extends.

연구 동기 및 목표

• 핵심 프레임이 발생하기 이전에 인간 행동을 예측하는 데 도전하는 문제를 해결하기 위해, 향후 행동과 강한 인과적 연결을 가진 특징을 학습하는 것.
• 과거 프레임 복원에서 미래 프레임 생성으로 초점을 이동시킴으로써 행동 예측을 위한 표현 학습을 향상시키는 것.
• 생성 학습을 통해 향후 관련 특징을 암묵적으로 추출하도록 이끄는 자기지도 학습 프레임워크를 개발하는 것.
• 향후 표현 학습이 전통적 표현 학습보다 조기 행동 예측에서 더 나은 성능을 내는지 검증하는 것.
• 다양한 생성 구성 요소(과거 대비 미래)와 아키텍처 선택(이중 스트림, 데이터 증강)이 예측 정확도 향상에 기여하는 정도를 조사하는 것.

제안 방법

• 이중 스트림 3D-CNN(C3D) 네트워크가 RGB 프레임과 옵티컬 플로우를 처리하여 과거 영상 세그먼트의 공간적 및 시간적 특징을 추출한다.
• 변분 오토에인드어(VAE)는 이러한 특징을 잠재 변수로 인코딩하며, 재표본 추출 기법을 사용해 표준 정규분포를 강제로 유지한다.
• 다중 스트림 디컨볼루션 디코더가 미래 RGB 프레임과 옵티컬 플로우를 생성하여, 재구성 손실을 통해 미래 예측 특징을 학습할 수 있도록 한다.
• 모델는 미래 프레임에 대한 재구성 손실과 잠재 공간을 정규화하는 KL 발산 항목을 조합하여 사전 훈련한다.
• 행동 예측을 위해 학습된 잠재 특징에 기반한 분류기가 훈련되며, 전체 시스템은 엔드 투 엔드로 미세조정된다.
• 과적합을 줄이고 일반화 성능을 향상시키기 위해 무작위 클리핑 및 다중 스케일 크롭을 통한 데이터 증강 기법이 적용된다.

실험 결과

연구 질문

• RQ1 미래 프레임 생성이 조기 인간 행동 예측을 위한 학습된 표현의 품질을 향상시키는가?
• RQ2 미래 프레임을 재구성하도록 VAE를 훈련시키는 것이 과거 프레임 재구성보다 더 나은 특징 학습을 이끌어내는가?
• RQ3 과거 생성 모델링 대비 미래 생성 모델링이 예측 성능 측면에서 어떻게 비교되는가?
• RQ4 다양한 아키텍처 구성 요소—미래 생성기, 이중 스트림 네트워크, 데이터 증강—가 모델 정확도에 기여하는 상대적 기여도는 얼마인가?
• RQ5 부분 관찰 조건(예: 초기 영상 세그먼트)에서 향후 표현 학습이 성능 향상에 얼마나 기여하는가?

주요 결과

• FL-VAE는 UT 및 UCF101 데이터셋에서 최신 기법을 능가하는 성능을 기록하였으며, 특히 부분 관찰 조건에서 뛰어난 성능을 보였다.
• 미래 RGB 및 옵티컬 플로우 생성을 출력으로 갖는 모델가 모든 다른 변종보다 뛰어난 성능을 보였으며, 이는 미래 프레임 예측이 특징 학습을 향상시킴을 시사한다.
• 과거 생성 모델링 대비 미래 생성 모델링이 특히 영상의 50% 미만으로 관찰되는 조건에서 예측 정확도 향상에 더 크게 기여하였다.
• 이중 스트림 C3D 네트워크(RGB + 옵티컬 플로우)가 성능 향상에 가장 큰 기여를 하였으며, 그 다음으로 미래 생성 네트워크와 데이터 증강이 영향을 미쳤다.
• 높은 드롭아웃 비율은 최소한의 성능 향상을 보였으며, 이는 이 설정에서 다른 정규화 기법에 비해 효과가 떨어짐을 시사한다.
• 100% 관찰 비율에서도 모델이 뛰어난 성능을 유지함을 통해, 미래 생성 학습이 현재 행동 인식에도 기여함을 확인하였다.