[논문 리뷰] Learning to Draw Samples: With Application to Amortized MLE for Generative Adversarial Learning

Dilin Wang, Qiang Liu|arXiv (Cornell University)|2016. 11. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 79

한 줄 요약

이 논문은 복잡한 타겟 분포에서 샘플을 추출하는 신경망 샘플러를 훈련하기 위한 새로운 방법을 제안한다. 이 방법은 스틸 변분 경사하강법(Stein variational gradient descent)을 사용하여 딥 에너지 모델의 암시적 최대우도추정(ML)을 가능하게 한다. 반복적으로 네트워크 파라미터를 스틸 경사 방향으로 조정함으로써, GAN보다 더 높은 특징 정보 유지도를 보이며 최신 기준의 이미지 생성 품질을 달성한다. 이는 시뮬레이션된 데이터에서의 분류 정확도가 뛰어나다는 것으로 확인된다.

ABSTRACT

We propose a simple algorithm to train stochastic neural networks to draw samples from given target distributions for probabilistic inference. Our method is based on iteratively adjusting the neural network parameters so that the output changes along a Stein variational gradient that maximumly decreases the KL divergence with the target distribution. Our method works for any target distribution specified by their unnormalized density function, and can train any black-box architectures that are differentiable in terms of the parameters we want to adapt. As an application of our method, we propose an amortized MLE algorithm for training deep energy model, where a neural sampler is adaptively trained to approximate the likelihood function. Our method mimics an adversarial game between the deep energy model and the neural sampler, and obtains realistic-looking images competitive with the state-of-the-art results.

연구 동기 및 목표

• 제안된 방법이 제안 분포의 밀도를 명시적으로 계산할 필요 없이도 임의의 타겟 분포에서 샘플을 추출할 수 있는 일반적인, 미분 가능한 신경망 훈련 방법을 개발하는 것.
• 기존의 변분 추론과 중요도 샘플링의 한계를 해결하기 위해 제안 분포의 밀도 $ q_\eta(x) $ 를 계산할 필요 없이 블랙박스이고 확장 가능한 추론을 가능하게 하는 것.
• 에너지 모델 하에서 효율적인 가능도 함수 근사 방법으로 신경 샘플러를 학습시켜 암시적 최대우도추정 훈련을 가능하게 하는 것.
• 유사한 분포들 사이에서 반복적인 샘플링이 요구되는 환경(예: 온라인 학습 또는 최대우도추정 최적화)에서 확률적 추론의 효율성과 일반화 능력을 향상시키는 것.
• 대부분의 GAN 기반 기법들과는 달리, 스틸 경사를 활용하면서도 적대적 훈련을 모방하는 새로운 GAN 변종인 SteinGAN을 개발하는 것.

제안 방법

• 이 방법은 신경 샘플러의 출력 분포와 타겟 분포 $ p(x) $ 사이의 KL 발산을 최소화하기 위해 스틸 변분 경사 방향(SVGD)을 따라 반복적으로 파라미터를 갱신한다.
• SVGD 업데이트 방향에는 샘플 간의 다양성을 보장하는 밀려나는 항목이 포함되어 있어, 모드 붕괴를 방지하고 타겟 분포의 전반적인 커버리지가 이루어지도록 한다.
• 제안 분포의 밀도가 계산이 불가능하더라도, 재파rameterization 기법과 자동 미분를 통해 백프로파게이션을 통해 네트워크를 종합적으로 훈련시킨다.
• 이 방법은 딥 에너지 모델의 암시적 최대우도추정을 위해 신경 샘플러를 훈련시켜 에너지 모델 하에서 가능도를 최대화하는 현실적인 샘플을 생성함으로써 적용된다.
• 분류 레이블에 조건을 주는 공동 모델을 사용하여 고해상도의 조건부 이미지 생성이 가능하다.
• 훈련 과정은 실제 데이터와 생성된 데이터의 에너지가 일치하도록 유지하기 위해 에너지 모델(판별자)과 신경 샘플러(생성자)를 번갈아가며 업데이트하며, 적응형 학습률을 사용한다.

실험 결과

연구 질문

• RQ1 제안 분포의 밀도를 명시적으로 계산할 필요 없이도 신경망을 타겟 분포에서 샘플을 추출하도록 훈련시킬 수 있는가?
• RQ2 스틸 변분 경사하강법을 신경망을 통해 암시적으로 훈련시켜 유사한 분포들 사이에서 반복적인 추론을 신속하게 수행할 수 있는가?
• RQ3 제안된 딥 에너지 모델을 위한 암시적 최대우도추정 방법이, 하류 작업 성능 측정 기준으로 기존 GAN보다 더 의미 있는 데이터 구조를 잘 포착하는가?
• RQ4 이 방법은 최신 기준의 GAN들과 경쟁할 수 있는 고품질의 다양성 있는 이미지를 생성할 수 있는가, 동시에 더 나은 특징 표현을 유지하는가?
• RQ5 모의 데이터에서 인ception 스코어와 분류 정확도 측면에서 제안 방법이 기준 모델들에 비해 성능이 뛰어나게 나타나는가?

주요 결과

• CIFAR-10의 50,000장의 시뮬레이션 이미지에 대해 ResNet을 훈련시킬 때 SteinGAN은 테스트 정확도 63.81%를 기록했으며, DCGAN(44.78%)과 500장의 중복 이미지 기준(44.96%)보다 뚜렷이 높아, 더 나은 정보 포착 능력을 보여준다.
• ImageNet 사전 훈련된 인ception 모델에서 SteinGAN은 인ception 스코어 6.351을 기록했으며, DCGAN의 6.581과 유사하여 높은 시각적 품질을 보여준다.
• CelebA 및 LSUN 데이터셋에서 SteinGAN이 생성한 이미지는 실제 이미지와 시각적으로 구분되지 않으며, 잠재 공간에서 매끄럽고 제어 가능한 보간을 보여주어 분리되고 의미 있는 표현을 나타낸다.
• 이 방법은 MNIST와 CIFAR-10에서 고해상도의 이미지를 성공적으로 생성했으며, 정성적 결과로 DCGAN과 비교해도 열등하지 않거나 이를 초월한다.
• 스틸 경사 하강법을 통해 훈련된 신경 샘플러를 사용함으로써, 명시적 가능도 계산 없이도 딥 에너지 모델의 효과적인 암시적 최대우도추정 훈련이 가능해졌으며, 경쟁 가능한 성능을 달성했다.
• 제거 분석 결과, 표준 GAN보다 제안 방법이 훈련 데이터의 더 많은 구조적 정보를 포착하고 있음을 확인했으며, 이는 하류 작업에서의 높은 분류 정확도로 입증되었다.