[논문 리뷰] Learning Generative ConvNet with Continuous Latent Factors by Alternating Back-Propagation.

Tian Han, Yang Lu외 2명|arXiv (Cornell University)|2016. 06. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 4

한 줄 요약

이 논문은 연속적인 잠재 요인을 갖는 생성형 ConvNet을 훈련하기 위한 교차(back-propagation) 알고리즘을 제안한다. 여기서 잠재 변수의 추론과 모델 파라미터 업데이트 모두가 역전파를 통해 수행된다. 이 방법은 반복적인 추론 및 학습 역전파 단계를 통해 잠재 요인과 모델 파라미터를 동시에 최적화함으로써 현실적인 이미지 및 음성 생성을 달성한다.

ABSTRACT

The supervised learning of the discriminative convolutional neural network (ConvNet) is powered by back-propagation on the parameters. In this paper, we show that the unsupervised learning of a popular top-down generative ConvNet model with latent continuous factors can be accomplished by a learning algorithm that consists of alternatively performing back-propagation on both the latent factors and the parameters. The model is a non-linear generalization of factor analysis, where the high-dimensional observed data, is assumed to be the noisy version of a vector generated by a non-linear transformation of a low-dimensional vector of continuous latent factors. Furthermore, it is assumed that these latent factors follow known independent distributions, such as standard normal distributions, and the non-linear transformation is assumed to be parametrized by a top-down ConvNet, which is capable of approximating the highly non-linear mapping from the latent factors to the image. We explore a simple and natural learning algorithm for this model that alternates between the following two steps: (1) inferring the latent factors by Langevin dynamics or gradient descent, and (2) updating the parameters of the ConvNet by gradient descent. Step (1) is based on the gradient of the reconstruction error with respect to the latent factors, which is available by back-propagation. We call this step inferential back-propagation. Step (2) is based on the gradient of the reconstruction error with respect to the parameters, and is also obtained by back-propagation. We refer to this step as learning back-propagation. The code for inferential back-propagation is actually part of the code for learning back-propagation, and thus the inferential back-propagation is actually a by-product of the learning back-propagation. We show that our algorithm can learn realistic generative models of images and sounds.

연구 동기 및 목표

• 고차원 데이터를 저차원 연속 잠재 요인의 비선형 변환으로 모델링하는 비지도 학습 알고리즘을 개발하는 것.
• 잠재 공간에서 관측 데이터로의 복잡한 비선형 사상에 의한 상향식 생성 모델을 훈련하는 데 도전하는 것.
• 잠재 요인 추론과 파라미터 최적화를 역전파를 통해 번갈아 수행함으로써 엔드 투 엔드 학습을 가능하게 하는 것.
• 역전파 프레임워크를 통해 파라미터 학습뿐만 아니라 잠재 변수 추론에도 응용할 수 있음을 보여주는 것, 이를 통해 통합된 프레임워크를 구현하는 것.

제안 방법

• 모델은 관측된 데이터가 연속적인 잠재 요인의 노이즈가 섞인 비선형 변환의 결과물이라고 가정하며, 이 변환은 상향식 ConvNet으로 매개변수화된다.
• 잠재 요인은 재구성 오차의 잠재 변수에 대한 기울기 기반으로 랭지에르 다이내믹스 또는 경사하강법을 사용하여 추론되며, 이를 추론 역전파(inferential back-propagation)라고 한다.
• 표준 역전파를 사용하여 재구성 오차에 대한 기울기 기반으로 경사하강법을 통해 모델 파라미터를 업데이트하며, 이를 학습 역전파(learning back-propagation)라고 한다.
• 알고리즘은 추론 역전파(잠재 요인 업데이트)와 학습 역전파(모델 파라미터 업데이트)를 번갈아 수행하며, 공유된 계산 그래프를 활용한다.
• 추론 역전파가 학습 역전파의 계산 그래프의 부산물로 구현되어 있어 효율적인 동시 최적화가 가능하다.
• 깊이 있는 ConvNet을 사용하여 잠재 요인에서 데이터로의 비선형 사상을 모델링함으로써, 확률적 PCA를 비선형 환경으로 일반화한다.

실험 결과

연구 질문

• RQ1 생성형 ConvNet 모델에서 역전파를 모델 파라미터를 넘어서 잠재 변수 추론까지 효과적으로 확장할 수 있는가?
• RQ2 기존 방법과 비교해 볼 때, 교차 역전파 알고리즘이 이미지 및 음성의 현실적인 생성 모델을 얼마나 잘 학습할 수 있는가?
• RQ3 연속적인 잠재 요인이 비선형 생성 모델에서 고해상도 재구성 및 생성을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 동일한 역전파 프레임워크를 사용하여 파라미터 학습과 잠재 요인 추론을 별도의 구현 없이도 수행할 수 있는가?
• RQ5 재구성 품질 측면에서 기존의 변분 추론 또는 다른 딥 생성 모델에 비해 교차 알고리즘의 성능는 어떠한가?

주요 결과

• 제안된 교차 역전파 알고리즘은 연속적인 잠재 요인을 갖는 생성형 ConvNet 모델을 성공적으로 학습하여 고품질의 이미지 및 음성 생성을 가능하게 한다.
• 학습 역전파와 동일한 계산 그래프에서 유도된 추론 역전파 덕분에 효율적이고 미분 가능한 잠재 요인 추론이 가능하다.
• 반복적인 정밀 조정을 통해 잠재 요인과 모델 파라미터를 동시에 최적화함으로써 현실적인 샘플 생성이 가능하다.
• 알고리즘이 역전파를 잠재 변수 추론으로 자연스럽게 확장할 수 있음을 보여주어 구현을 단순화하고 학습 효율성을 향상시킨다.
• 상향식 ConvNet 덕분에 비선형 사상 능력이 향상되어 선형 요인 분석을 초월한 복잡한 데이터 분포를 포착할 수 있다.
• 이 프레임워크는 이미지 및 오디오 데이터 생성을 모두 지원하여 다양한 모odal에 광범위하게 적용 가능하다.