[논문 리뷰] Metropolis-Hastings view on variational inference and adversarial training

Kirill Neklyudov, Egorov, Evgenii외 2명|arXiv (Cornell University)|2018. 10. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 9

한 줄 요약

이 논문은 생성자(generator)를 제안 분포로 간주하고 판별자(discriminator)를 수락 테스트로 간주함으로써 변분 추론(variational inference)과 생성적 적대적 네트워크(GANs)를 메트로폴리스-하스팅스(Metropolis-Hastings, MH) 프레임워크 아래 통합한다. 제안된 방법은 대칭화된 KL 발산 최소화를 통한 MH 수락률 최대화를 제안하여, ImageNet에서 FID 및 Inception Score 향상을 통해 사후 분포 샘플링과 GAN 성능을 향상시킨다.

ABSTRACT

A significant part of MCMC methods can be considered as the Metropolis-Hastings (MH) algorithm with different proposal distributions. From this point of view, the problem of constructing a sampler can be reduced to the question - how to choose a proposal for the MH algorithm? To address this question, we propose to learn an independent sampler that maximizes the acceptance rate of the MH algorithm, which, as we demonstrate, is highly related to the conventional variational inference. For Bayesian inference, the proposed method compares favorably against alternatives to sample from the posterior distribution. Under the same approach, we step beyond the scope of classical MCMC methods and deduce the Generative Adversarial Networks (GANs) framework from scratch, treating the generator as the proposal and the discriminator as the acceptance test. On real-world datasets, we improve Frechet Inception Distance and Inception Score, using different GANs as a proposal distribution for the MH algorithm. In particular, we demonstrate improvements of recently proposed BigGAN model on ImageNet.

연구 동기 및 목표

• 독립적인 제안 분포를 학습하여 메트로폴리스-하스팅스(MH) 수락률을 최대화함으로써 MCMC 샘플링 효율성을 향상시키는 것.
• 변분 추론과 GAN을 공통의 MH 프레임워크 아래 통합하여 그들의 공통된 기초 원리를 드러내는 것.
• 제안 분포와 목표 분포 간의 대칭화된 KL 발산 최소화가 역방향 KL 최소화보다 더 나은 MH 성능을 제공하는지 입증하는 것.
• 제안된 판별자를 수락 테스트로 사용하는 MH 알고리즘을 적용하여 GAN 훈련을 향상시키고 샘플 품질을 향상시키는 것.
• 베이지안 로지스틱 회귀 및 대규모 이미지 생성에서 방법을 검증하여 FID 및 Inception Score 향상을 보여주는 것.

제안 방법

• 신경망을 사용하여 직접적으로 MH 수락률을 최대화함으로써 독립적인 제안 분포를 학습하는 방법을 제안한다.
• 제안 분포와 목표 분포 간의 대칭화된 KL 발산을 사용하여 수락률의 하한을 유도한다.
• 모드 수축을 방지하고 커버리지 개선을 위해 표준 변분 추론 목표(역방향 KL)를 대칭화된 KL로 대체한다.
• 생성자를 제안으로, 판별자를 MH 수락 테스트를 위한 밀도 비율 추정기로 해석함으로써 GAN 프레임워크를 다시 설계한다.
• MH 수락 결정을 위한 밀도 비율 p(x)/q(x)를 추정하기 위해 이중 스트림(dual-stream) 판별자 아키텍처를 사용한다.
• 학습된 제안 분포와 판별자를 사용하여 MH 알고리즘을 적용하여 복잡한 사후 분포와 데이터 분포에서 개선된 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메트로폴리스-하스팅스 수락률을 최대화하는 것은 독립적 제안 분포를 사용할 때 더 효율적인 MCMC 샘플링을 이끌 수 있는가?
• RQ2 MH 제안 학습 맥락에서 대칭화된 KL 발산 최소화는 역방향 KL 최소화와 비교하여 어떻게 다른가?
• RQ3 생성자를 제안으로, 판별자를 수락 테스트로 해석함으로써 GAN 프레임워크를 MH 알고리즘으로 유도할 수 있는가?
• RQ4 학습된 제안 분포와 판별자를 사용한 MH 알고리즘 적용이 FID 및 Inception Score 측정 기준으로 GAN의 샘플 품질 향상에 기여하는가?
• RQ5 이 MH 기반 접근법은 로지스틱 회귀와 같은 베이지안 모델에서 사후 분포 샘플링을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 대칭화된 KL 발산 최소화를 통해 표준 변분 추론보다 더 높은 수락률을 달성하며, 모드 향상 방지 행동을 피한다.
• 베이지안 로지스틱 회귀에서 학습된 제안 분포를 사용한 MH 샘플러는 기준 방법보다 샘플링 효율성과 사후 커버리지에서 뛰어난 성능을 보였다.
• GAN 생성자로 제안 분포, 훈련된 판별자를 수락 테스트로 사용하는 MH 알고리즘은 CIFAR-10 및 ImageNet에서 FID와 Inception Score를 향상시켰다.
• ImageNet에서 BigGAN에 대해 제안된 MH 기반 정밀 조정은 FID를 1.5점 향상시키고 Inception Score를 2.1점 향상시켜 확장성의 가능성을 입증했다.
• MH 체인에서 유도된 샘플은 다양성과 혼합성이 향상되었으며, MNIST에서 숫자 간 모드 전환에 성공했고, 모드 향상 기반 기준 방법과는 대조를 이룬다.
• 제안 분포에서의 조건부 샘플링은 마르코프 성질을 보이며, 제안 분포가 완전히 독립적이지 않고 맥락 인식 능력을 지닌다는 것을 확인한다.