[논문 리뷰] Unsupervised Learning of Visual Structure using Predictive Generative Networks

William Lotter, Gabriel Kreiman외 1명|arXiv (Cornell University)|2015. 11. 19.

Advanced Vision and Imaging참고 문헌 34인용 수 82

한 줄 요약

이 논문은 예측 손실을 사용하여 미래 비디오 프레임을 예측하도록 훈련된 CNN-LSTM-deCNN 아키텍처를 제안하며, 이러한 비지도 훈련이 기저의 3D 물체 구조를 잘 분리된 표현으로 이끌 수 있음을 보여준다. 픽셀 수준의 예측에만 훈련된 모델이 재구성 손실로 훈련된 모델들보다도 정적 이미지 분류와 같은 후행 작업으로 일반화 능력이 뛰어나며, 변환에 강인한 특징을 학습한다.

ABSTRACT

The ability to predict future states of the environment is a central pillar of intelligence. At its core, effective prediction requires an internal model of the world and an understanding of the rules by which the world changes. Here, we explore the internal models developed by deep neural networks trained using a loss based on predicting future frames in synthetic video sequences, using a CNN-LSTM-deCNN framework. We first show that this architecture can achieve excellent performance in visual sequence prediction tasks, including state-of-the-art performance in a standard 'bouncing balls' dataset (Sutskever et al., 2009). Using a weighted mean-squared error and adversarial loss (Goodfellow et al., 2014), the same architecture successfully extrapolates out-of-the-plane rotations of computer-generated faces. Furthermore, despite being trained end-to-end to predict only pixel-level information, our Predictive Generative Networks learn a representation of the latent structure of the underlying three-dimensional objects themselves. Importantly, we find that this representation is naturally tolerant to object transformations, and generalizes well to new tasks, such as classification of static images. Similar models trained solely with a reconstruction loss fail to generalize as effectively. We argue that prediction can serve as a powerful unsupervised loss for learning rich internal representations of high-level object features.

연구 동기 및 목표

• 예측 기반 비디오 생성이 시각적 구조의 풍부한 내부 표현을 학습하는 강력한 비지도 학습 프레임워크가 될 수 있는지 조사하기 위해.
• 미래 프레임 예측에 훈련된 모델이 기저의 3D 물체의 분리된, 변환에 불변한 특징을 학습하는지 평가하기 위해.
• 후행 분류 작업에서 예측 기반 모델과 재구성 기반 오토에코더의 일반화 성능를 비교하기 위해.
• 평균 제곱 오차(MSE)와 적대적 손실(AL)을 결합함으로써 예측 품질과 표현 학습에 미치는 영향을 평가하기 위해.
• 운동하는 자극으로부터 학습된 표현이 소수의 예제 조건에서도 정적 이미지 인식에 일반화되는지 테스트하기 위해.

제안 방법

• 모델은 입력 프레임 시퀀스에서 미래 비디오 프레임을 예측하기 위해 CNN-LSTM-deCNN 아키텍처(인코더-반복-디코더)를 사용한다.
• 예측의 현실성과 정확성을 향상시키기 위해 평균 제곱 오차(MSE)와 적대적 손실(AL)의 조합을 사용하여 엔드 투 엔드로 훈련된다.
• 예측 손실은 네트워크가 시간적 동역학과 구조적 불변성을 포착하는 내부 세계 모델을 학습하도록 유도한다.
• 표현은 LSTM의 은닉 상태에서 추출되며, SVM을 사용한 정적 얼굴 식별 작업에서 평가된다.
• 제어 모델은 정적 또는 동적 프레임에서 재구성 손실을 사용하여 오토에코더 아키텍처(또는 LSTMs 유무)로 훈련된다.
• 모델은 시뮬레이션된 데이터셋(물리 기반의 튀는 공과 3D 구조를 가진 컴퓨터 생성 얼굴의 회전)에서 평가된다.

실험 결과

연구 질문

• RQ1 단지 미래 비디오 프레임 예측에만 훈련된 딥 네트워크가 기저의 3D 물체 구조의 분리된 표현을 학습할 수 있는가?
• RQ2 재구성 기반 훈련과 비교할 때 예측 훈련이 변환에 강인한 특징을 학습하는 데 어떤가?
• RQ3 예측 손실이 정적 이미지 분류와 같은 후행 작업으로의 일반화에 어떤 영향을 미치는가?
• RQ4 MSE와 적대적 손실을 결합함으로써 예측 품질과 표현 학습에 어떤 영향을 미치는가?
• RQ5 운동하는 비디오 시퀀스에서 학습된 표현이 소수의 예제 조건에서도 정적 이미지 인식에 효과적으로 일반화되는가?

주요 결과

• 예측 생성 네트워크(PGN)는 표준 '튀는 공' 비디오 예측 벤치마크에서 최신 기술 성능을 달성한다.
• MSE와 적대적 손실을 함께 사용한 PGN은 특히 얼굴의 평면 외부에서의 회전에 대해 시각적으로 현실적이고 일관된 예측을 생성한다.
• MSE만으로 훈련된 PGN은 50개 클래스의 정적 얼굴 식별 작업에서 최고의 분류 정확도(최대 94%)를 기록하며, 모든 재구성 기반 기준 모델을 능가한다.
• 훈련 예제 수가 적은 경우에도 예측 모델은 재구성 기반 모델보다 유의미하게 더 잘 일반화되며, 특히 소수의 예제 조건에서 두드러진다.
• 예측의 시간적 특성에 기반한 인덕티브 바이어스 덕분에 PGN이 학습한 표현은 물체의 회전과 같은 변환에 자연스럽게 강인하다.
• 동일한 데이터 분포에서 훈련된 경우조차도, 재구성 손실로 훈련된 모델보다 예측 손실로 훈련된 모델이 더 잘 일반화된다.