[논문 리뷰] A-NICE-MC: Adversarial Training for MCMC

Jiaming Song, Shengjia Zhao외 1명|arXiv (Cornell University)|2017. 06. 23.

Generative Adversarial Networks and Image Synthesis인용 수 61

한 줄 요약

A-NICE-MC는 정규화 흐름을 사용하여 일반화된 MCMC 샘플링을 위한 효율적이고 도메인 특화된 마르코프 체인 커널을 자동으로 학습할 수 있는 가능도 없는 적대적 훈련 프레임워크를 제안한다. 모델과 샘플을 부트스트랩 방식으로 반복적으로 개선함으로써 하이퍼볼릭 몬테카를로 및 기타 기준보다 더 빠른 수렴 속도와 뛰어난 성능을 달성한다.

ABSTRACT

Existing Markov Chain Monte Carlo (MCMC) methods are either based on general-purpose and domain-agnostic schemes, which can lead to slow convergence, or require hand-crafting of problem-specific proposals by an expert. We propose A-NICE-MC, a novel method to train flexible parametric Markov chain kernels to produce samples with desired properties. First, we propose an efficient likelihood-free adversarial training method to train a Markov chain and mimic a given data distribution. Then, we leverage flexible volume preserving flows to obtain parametric kernels for MCMC. Using a bootstrap approach, we show how to train efficient Markov Chains to sample from a prescribed posterior distribution by iteratively improving the quality of both the model and the samples. A-NICE-MC provides the first framework to automatically design efficient domain-specific MCMC proposals. Empirical results demonstrate that A-NICE-MC combines the strong guarantees of MCMC with the expressiveness of deep neural networks, and is able to significantly outperform competing methods such as Hamiltonian Monte Carlo.

연구 동기 및 목표

• 수동으로 설계된 제안 분포에 의존하는 일반적인 MCMC 방법의 느린 수렴 문제를 해결하기 위해.
• 전문가가 설계한 제안 분포가 필요 없도록 문제 특화된 MCMC 커널의 학습을 자동화하기 위해.
• MCMC의 이론적 보장을 딥 네URAL 네트워크의 표현 능력과 융합하기 위해.
• 명시적 가능도가 필요 없이 효율적인 마르코프 체인을 훈련할 수 있는 확장 가능하고 종단 간 프레임워크를 개발하기 위해.

제안 방법

• 목표 데이터 분포를 모방하도록 마르코프 체인을 훈련하기 위해 가능도 없는 적대적 훈련 기반 기법을 사용한다.
• 유연하고 부피를 유지하는 정규화 흐름을 사용하여 MCMC 전이 커널을 매개변수화한다.
• 모델과 생성된 샘플을 반복적으로 개선하기 위해 부트스트랩 전략을 적용한다.
• 마르코프 체인의 목표 사후분포와 일치하는 샘플을 생성할 수 있는 능력을 최적화하기 위해 적대적 손실을 활용한다.
• 전이 커널이 가역적이며 자코비안 행렬식 계산이 실현 가능하도록 정규화 흐름을 통합한다.
• 목표 분포에서의 샘플들만을 사용하여 자기지도 학습 방식으로 MCMC 커널을 훈련한다.

실험 결과

연구 질문

• RQ1 명시적 가능도 없이도 적대적 훈련이 MCMC 전이 커널 학습에 효과적으로 적용될 수 있는가?
• RQ2 정규화 흐름이 표준 제안과 비교해도 뛰어난 성능을 보이는 다재다능하고 효율적인 MCMC 커널을 생성할 수 있는가?
• RQ3 모델과 샘플의 반복적 부트스트랩 개선이 더 빠른 수렴과 더 나은 샘플 품질을 이끌어내는가?
• RQ4 이 프레임워크는 전문가의 간섭 없이 도메인 특화된 제안을 자동으로 학습할 수 있는가?

주요 결과

• A-NICE-MC는 효과적 샘플 크기와 수렴 속도 측면에서 하이퍼볼릭 몬테카를로 및 기타 기준 MCMC 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 명시적 가능도 계산이 필요 없이도 고품질의 사후분포 샘플링을 달성했다.
• 부피를 유지하는 흐름의 사용으로 유효한 MCMC 전이 커널과 실현 가능한 자코비안 행렬식이 보장되었다.
• 반복적인 부트스트랩 개선 과정을 통해 여러 반복 동안 모델 정확도와 샘플 품질이 모두 향상되었다.