[논문 리뷰] A Neural Network MCMC sampler that maximizes Proposal Entropy

Zengyi Li, Yubei Chen외 1명|arXiv (Cornell University)|2020. 10. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 4

한 줄 요약

이 논문은 복잡한 고차원 분포에서 탐색을 향상시키기 위해 제안 분포의 엔트로피를 최대화하는 신경망 기반 MCMC 샘플러를 제안한다. 기울기 기반이며 계산이 가능한 제안 네트워크를 엔트로피 최대화를 통해 훈련시킴으로써, HMC와 라ング주인 역학에 비해 샘플링 효율성이 크게 향상되었으며, 특히 펌프 분포와 같은 어려운 기하학적 구조에서 메트로폴리스-하스팅스 단계당 효과적 표본 크기가 최대 32배 향상되었다.

ABSTRACT

Markov Chain Monte Carlo (MCMC) methods sample from unnormalized probability distributions and offer guarantees of exact sampling. However, in the continuous case, unfavorable geometry of the target distribution can greatly limit the efficiency of MCMC methods. Augmenting samplers with neural networks can potentially improve their efficiency. Previous neural network based samplers were trained with objectives that either did not explicitly encourage exploration, or used a L2 jump objective which could only be applied to well structured distributions. Thus it seems promising to instead maximize the proposal entropy for adapting the proposal to distributions of any shape. To allow direct optimization of the proposal entropy, we propose a neural network MCMC sampler that has a flexible and tractable proposal distribution. Specifically, our network architecture utilizes the gradient of the target distribution for generating proposals. Our model achieves significantly higher efficiency than previous neural network MCMC techniques in a variety of sampling tasks. Further, the sampler is applied on training of a convergent energy-based model of natural images. The adaptive sampler achieves unbiased sampling with significantly higher proposal entropy than Langevin dynamics sampler.

연구 동기 및 목표

• 고차원적이고 기하학적으로 복잡한 분포에서 MCMC 샘플러의 비효율성을 해결하기 위해.
• 간접적인 목표에 의존하는 대신 제안 엔트로피 최적화를 명시적으로 최적화하여 MCMC의 탐색 속도를 향상시키기 위해.
• 직접 엔트로피 최적화가 가능한 유연하고 계산 가능한 신경망 제안 분포를 설계하기 위해.
• 리만 다각형 HMC와 같이 비계산 가능한 헤시안 계산이 필요로 하지 않는 스케일러블하고 기하학적 내성에 강한 샘플링을 가능하게 하기 위해.
• 깊은 에너지 기반 모델을 훈련시키는 데에 샘플링 비용을 줄이기 위해 본 방법의 효과성을 입증하기 위해.

제안 방법

• 샘플러는 현재 상태와 타겟 로그밀도의 기울기를 조건으로 하여 제안 분포를 매개변수화하는 신경망을 사용한다.
• 제안 분포는 탄력적이고 미분 가능하도록 구성되어 있어 엔트로피 목표 함수를 직접 최적화할 수 있다.
• 모델은 제안 분포의 엔트로피를 최대화하는 손실 함수를 사용하여 훈련되며, 이는 상태 공간의 광범위한 탐색을 촉진한다.
• 본 방법은 HMC와 유사하게 타겟 분포의 기울기를 활용해 제안 생성을 이끌지만, 학습된 적응형 역학을 사용한다.
• 메트로폴리스-하스팅스 수락-기각 단계를 통해 제안의 근사화에도 불구하고 정확한 샘플링을 보장한다.
• 아키텍처는 비대칭 제안을 허용하여, 예를 들어 펌프 형태의 분포에서 고에너지 및 저에너지 영역 간의 효율적 혼합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비타원형 타겟 분포에 대해 제안 엔트로피를 최대화하는 것이 MCMC 샘플링의 효율적인 탐색으로 이어질 수 있는가?
• RQ2 엔트로피 최대화가 계산 가능하고 직접 최적화 가능한 방식으로 신경망 제안 분포를 설계할 수 있는가?
• RQ3 고차원적이고 비대칭적인 분포에서 HMC 및 라ング주인 역학에 비해 제안된 샘플러의 효과적 표본 크기와 혼합 성능은 어떻게 비교되는가?
• RQ4 엔트로피 최대화 샘플러는 깊은 에너지 기반 모델을 훈련시키기 위해 필요한 샘플링 단계 수와 기울기 평가 횟수를 줄일 수 있는가?
• RQ5 학습 도중 고차원적이고 실제 세계 데이터 분포에서 학습된 샘플러가 높은 제안 엔트로피를 유지하는가?

주요 결과

• 20차원 펌프 분포에서 제안된 샘플러는 메트로폴리스-하스팅스 단계당 효과적 표본 수 0.256을 달성했으며, HMC의 0.0079에 비해 32배 높은 샘플링 효율성을 보였다.
• 베이지안 로지스틱 회귀 작업에서, 이전의 신경망 기반 MCMC 접근법에 비해 효과적 표본 크기와 수렴 속도 면에서 뚜렷한 우월성을 보였다.
• 옥스포드 플라워스 데이터셋에서 깊은 에너지 기반 모델의 안정적인 훈련을 달성했으며, EBM 업데이트당 기울기 평가 수가 단지 80회로, 이는 약 280단계의 라ング주인 스텝에 해당했고, 이는 이전 연구 대비 500단계에서 감소한 것이다.
• 학습 전반에 걸쳐, 적응형 MALA보다도 뚜렷하게 높은 제안 엔트로피를 유지함으로써, 더 뛰어난 탐색 능력을 보였다.
• 시각화 결과, 기존 기준 방법에서 부재했던 고에너지 상태와 저에너지 상태 간의 큰 희귀 전이를 생성함으로써 혼합 성능 향상이 확인되었다.
• 비대칭 및 다모달 분포를 성공적으로 처리하였으며, 에너지 장벽을 넘는 데에 효율적인 비대칭 제안을 생성할 수 있는 능력을 보였다.