[논문 리뷰] Cooperative Training of Descriptor and Generator Networks

Jianwen Xie, Yang Lu외 3명|arXiv (Cornell University)|2016. 09. 29.

Generative Adversarial Networks and Image Synthesis인용 수 30

한 줄 요약

이 논문은 하향식 및 상향식 컨볼루션 신경망을 사용하여 에너지 기반 기술자 네트워크와 생성 모델 간의 협동 학습 프레임워크를 제안한다. MCMC 샘플링과 대비 기울기의 상호 작용을 통해 기술자 네트워크가 MCMC 전이를 통해 생성자에게 지도를 주어, 모드 붕괴 없이 현실적인 이미지 합성을 학습할 수 있으며, 동적 무늬 합성에서 PSNR 19.407과 SSIM 0.5988의 최신 기술 수준 성능을 달성한다.

ABSTRACT

This paper studies the cooperative training of two generative models for image modeling and synthesis. Both models are parametrized by convolutional neural networks (ConvNets). The first model is a deep energy-based model, whose energy function is defined by a bottom-up ConvNet, which maps the observed image to the energy. We call it the descriptor network. The second model is a generator network, which is a non-linear version of factor analysis. It is defined by a top-down ConvNet, which maps the latent factors to the observed image. The maximum likelihood learning algorithms of both models involve MCMC sampling such as Langevin dynamics. We observe that the two learning algorithms can be seamlessly interwoven into a cooperative learning algorithm that can train both models simultaneously. Specifically, within each iteration of the cooperative learning algorithm, the generator model generates initial synthesized examples to initialize a finite-step MCMC that samples and trains the energy-based descriptor model. After that, the generator model learns from how the MCMC changes its synthesized examples. That is, the descriptor model teaches the generator model by MCMC, so that the generator model accumulates the MCMC transitions and reproduces them by direct ancestral sampling. We call this scheme MCMC teaching. We show that the cooperative algorithm can learn highly realistic generative models.

연구 동기 및 목표

• 이미지 모델링을 위한 에너지 기반 기술자 및 잠재 변수 생성자 네트워크를 공동으로 학습하는 협동 학습 알고리즘을 개발하기.
• 개별적으로 학습할 경우 고도로 변동성이 큰 이미지 데이터에서 깊이 있는 생성 모델을 학습하는 데 도전 과제를 해결하기.
• MCMC를 통한 상호 지식 전이를 가능하게 하여 모드 붕괴를 피하는 GAN의 대안을 제공하기.
• 두 모델 간의 MCMC 샘플링과 기울기 업데이트를 번갈아가며 안정적인 가능도 기반 학습을 가능하게 하기.
• 이를 조건부 생성 작업, 예를 들어 클래스 레이블, 텍스트 또는 스케치로부터의 이미지 합성 등으로 일반화하기.

제안 방법

• 기술자 네트워크는 이미지 에너지를 계산하는 하향식 컨볼루션 신경망으로, 에너지 기반 모델을 형성한다.
• 생성자 네트워크는 잠재 인자를 이미지로 매핑하는 상향식 컨볼루션 신경망으로, 조상 샘플링을 통해 작동한다.
• 협동 학습은 다음과 같이 번갈아가며 수행된다: (1) 생성자가 합성한 예시로부터 기술자에 대한 MCMC를 초기화하고, (2) MCMC 전이를 기반으로 생성자를 업데이트한다.
• MCMC 지도 학습을 통해 생성자는 MCMC 전이를 학습하고 재현할 수 있으며, 이는 기술자의 샘플링 동역학을 효과적으로 흡수하는 것이다.
• 기존의 대비 기울기 방법을 수정하여 기술자를 학습하며, MCMC는 실제 데이터가 아닌 생성자의 출력에서 초기화된다.
• 두 모델의 최대 가능도 학습을 번갈아가며 통합함으로써, MCMC 샘플링과 기울기 업데이트의 상호 보완적 강화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기술자 네트워크와 생성자 네트워크 간의 협동 학습이 독립적 학습 대비 이미지 합성 품질을 향상시킬 수 있는가?
• RQ2 MCMC 샘플링을 어떻게 활용하여 생성자 네트워크가 복잡한 이미지 구조를 재현하도록 할 수 있는가?
• RQ3 이 협동 학습 체계는 GAN에서 흔히 발생하는 모드 붕괴를 피할 수 있는가?
• RQ4 기술자 네트워크의 MCMC 동역학이 생성자에 효과적으로 흡수되어 샘플 품질이 향상되는가?
• RQ5 이 협동 프레임워크는 텍스트-이미지 또는 스케치-이미지 합성과 같은 조건부 생성 작업으로 일반화될 수 있는가?

주요 결과

• 협동 학습 알고리즘이 동적 무늬를 포함한 매우 현실적인 이미지 생성 모델을 성공적으로 학습하였다.
• 동적 무늬 합성에서 모델은 PSNR 19.407과 SSIM 0.5988을 달성하여 LDS(19.148, 0.5939), HOSVD(18.392, 0.4573) 및 기타 베이스라인을 초월하였다.
• 안정적인 가능도 기반 학습 과정 덕분에 GAN 기반 모델에서 흔히 발생하는 모드 붕괴 문제를 피할 수 있었다.
• 생성자 네트워크는 직접적인 조상 샘플링을 통해 MCMC 전이를 재현함으로써 기술자의 샘플링 행동을 효과적으로 흡수하였다.
• 기술자 네트워크는 유한한 실제 데이터로부터 학습하는 반면, 생성자 네트워크는 거의 무한한 합성 데이터로부터 학습함으로써 강건한 일반화 성능을 달성하였다.
• 프레임워크는 조건부 생성으로 일반화되었으며, 클래스 레이블, 텍스트 기술, 스케치로부터의 이미지 생성과 같은 작업을 가능하게 하였다.