[논문 리뷰] Deep Involutive Generative Models for Neural MCMC

Span Spanbauer, Cameron E. Freer외 1명|arXiv (Cornell University)|2020. 06. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 7

한 줄 요약

이 논문은 복잡한 MCMC 제안 분포의 빠른, 보편적인 근사화를 가능하게 하는 체적 보존, 자기역행성 신경망인 딥 인벌루티브 생성 모델을 소개한다. 이러한 모델을 통해 메트로폴리스–해스팅스 업데이트를 구성함으로써, 다중 모달 사후분포에서 거의 즉각적인 수렴을 달성한다 — 실험 결과로는 가우시안 혼합 모델에서 100% 수용률을 기록했으며, A-NICE-MC와 하이브리드 몬테카를로보다 더 빠른 믹싱 속도를 보였다.

ABSTRACT

We introduce deep involutive generative models, a new architecture for deep generative modeling, and use them to define Involutive Neural MCMC, a new approach to fast neural MCMC. An involutive generative model represents a probability kernel $G(ϕ\mapsto ϕ')$ as an involutive (i.e., self-inverting) deterministic function $f(ϕ, π)$ on an enlarged state space containing auxiliary variables $π$. We show how to make these models volume preserving, and how to use deep volume-preserving involutive generative models to make valid Metropolis-Hastings updates based on an auxiliary variable scheme with an easy-to-calculate acceptance ratio. We prove that deep involutive generative models and their volume-preserving special case are universal approximators for probability kernels. This result implies that with enough network capacity and training time, they can be used to learn arbitrarily complex MCMC updates. We define a loss function and optimization algorithm for training parameters given simulated data. We also provide initial experiments showing that Involutive Neural MCMC can efficiently explore multi-modal distributions that are intractable for Hybrid Monte Carlo, and can converge faster than A-NICE-MC, a recently introduced neural MCMC technique.

연구 동기 및 목표

• 복잡하고 다중 모달적인 사후분포에 대해 효과적이고 수렴 속도가 빠른 MCMC 제안 분포를 학습하는 데 도전하는 것.
• 메트로폴리스–해스팅스 알고리즘에서 세부 균형 조건을 만족하는 결정론적, 인벌루티브 신경 제안 분포를 구성하는 데 어려움을 해결하는 것.
• 해당 밀도를 직접 계산할 필요 없이도 훈련 가능한 보편적 프레임워크를 개발하여 MCMC 제안 학습을 위한 것.
• 기존의 신경 MCMC 방법들인 A-NICE-MC와 하이브리드 몬테카를로에 비해 수렴 속도와 믹싱 효율성을 향상시키는 것.
• 딥 체적 보존 인벌루티브 생성 모델이 MCMC에 대해 이론적으로 보편적이고 실용적으로 효과적인가를 입증하는 것.

제안 방법

• 대칭적인 역행성 블록 조합과 커플링 레이어를 사용하여, 구성상 항상 자기역행성(f(f(x)) = x)임이 보장되는 인벌루티브 신경망을 제안한다.
• 보조 변수 π를 포함한 확장된 상태 공간에서 체적 보존 함수 f(ϕ, π)를 사용해 깊이 있는 인벌루티브 생성 모델을 확률 커널 G(ϕ ↦ ϕ′)로 구성한다.
• 수용 비율이 해석적으로 계산 가능한 보조 변수 기반 기법을 사용한다: p = [f_Φ(ϕ) f_Y(π′)] / [f_Φ(ϕ) f_Y(π)], 이는 유효한 메트로폴리스–해스팅스 업데이트를 가능하게 한다.
• 네트워크의 자코비안 행렬식의 절대값을 1로 제약하여 체적 보존을 확보함으로써 세부 균형 조건을 보장한다.
• 표본 데이터 기반의 안정적인 최적화를 가능하게 하기 위해, 마르코프-GAN 목표함수를 위한 저분산 추정기로 모델을 훈련시킨다.
• 대칭 아키텍처를 사용한다: I_F^{n,g} ∘ I_P^{n,σ} ∘ I_F^{n,h} ∘ I_P^{n,σ} ∘ I_F^{n,g}, 여기서 무작위 순열과 ReLU 및 밀집 레이어를 사용한 학습 가능한 역행성 블록(g, h)을 포함한다.

실험 결과

연구 질문

• RQ1 인벌루티브이자 체적 보존인 신경 MCMC 제안 분포를 구성할 수 있을까? 이는 밀도 평가 없이도 세부 균형 조건을 보장할 수 있는가?
• RQ2 딥 체적 보존 인벌루티브 생성 모델은 MCMC의 어떤 전이 커널이라도 보편적으로 근사할 수 있는가?
• RQ3 인벌루티브 신경 MCMC는 다중 모달 사후분포에서 A-NICE-MC와 하이브리드 몬테카를로보다 더 빠른 수렴과 더 나은 믹싱을 달성하는가?
• RQ4 이 방법에서 제안하는 전이의 수용 확률은 고차원, 다중 모달 설정에서 표준 기준 대비 어떻게 비교되는가?
• RQ5 네트워크의 자기역행성 성질이 신경 MCMC의 수렴 진단과 훈련 안정성 향상에 어떻게 기여할 수 있는가?

주요 결과

• 인벌루티브 신경 MCMC는 여섯 개의 가우시안 혼합 모델에서 제안 전이의 거의 100% 수용률을 기록했으며, A-NICE-MC의 약 50% 수용률에 비해 뚜렷한 승리였다.
• 인벌루티브 신경 MCMC의 제안은 모든 초기 상태에서 진짜 사후분포와 거의 정확히 일치했으며, 단 한 번의 단계로 거의 즉각적인 수렴을 가능하게 했다.
• 하이브리드 몬테카를로가 모드 간 높은 기각률로 실패하는 다중 모달 분포에서도 이 방법은 모드 간 믹싱을 성공적으로 수행했다.
• 실험 결과로 인벌루티브 신경 MCMC는 A-NICE-MC보다 더 빠른 수렴 속도, 더 나은 믹싱, 더 낮은 자기상관도를 보였다.
• 이론적 결과로 깊이 있는 체적 보존 인벌루티브 생성 모델이 확률 커널에 대해 보편 근사자임을 증명했으며, 이는 블랙박스 MCMC 제안 학습에의 적용을 정당화한다.
• 이 방법은 출력 밀도의 해석적 계산이 필요 없이 MCMC 제안을 훈련시킬 수 있게 해, GAN 기반 접근법의 MCMC 적용 가능성을 넓혔다.