[논문 리뷰] Gibbs flow for approximate transport with applications to Bayesian computation

Jeremy Heng, Randal Douc외 1명|arXiv (Cornell University)|2015. 09. 29.

Markov Chains and Monte Carlo Methods참고 문헌 28인용 수 32

한 줄 요약

이 논문은 전체 조건부 분포에서 유도된 속도장이 있는 상미분방정식을 통해 표본을 진동시켜 근사적인 운반 지도를 구성하는 새로운 방법인 Gibbs flow를 제안한다. 이 방법은 고정된 계산 비용에서 최신 기술 대비 효과적인 표본 크기와 주변 확률밀도 추정 정확도를 크게 향상시키는 효율적인 순차적 몬테카를로 샘플링을 가능하게 한다.

ABSTRACT

Let $π_{0}$ and $π_{1}$ be two distributions on the Borel space $(\mathbb{R}^{d},\mathcal{B}(\mathbb{R}^{d}))$. Any measurable function $T:\mathbb{R}^{d} ightarrow\mathbb{R}^{d}$ such that $Y=T(X)\simπ_{1}$ if $X\simπ_{0}$ is called a transport map from $π_{0}$ to $π_{1}$. For any $π_{0}$ and $π_{1}$, if one could obtain an analytical expression for a transport map from $π_{0}$ to $π_{1}$, then this could be straightforwardly applied to sample from any distribution. One would map draws from an easy-to-sample distribution $π_{0}$ to the target distribution $π_{1}$ using this transport map. Although it is usually impossible to obtain an explicit transport map for complex target distributions, we show here how to build a tractable approximation of a novel transport map. This is achieved by moving samples from $π_{0}$ using an ordinary differential equation with a velocity field that depends on the full conditional distributions of the target. Even when this ordinary differential equation is time-discretized and the full conditional distributions are numerically approximated, the resulting distribution of mapped samples can be efficiently evaluated and used as a proposal within sequential Monte Carlo samplers. We demonstrate significant gains over state-of-the-art sequential Monte Carlo samplers at a fixed computational complexity on a variety of applications.

연구 동기 및 목표

• 해석적 해가 불가능한 복잡한 베이지안 사후분포에 대해 운반 지도의 실용적인 근사화를 개발하는 것.
• 유체역학에 영감을 받은 유체 운반을 활용해 고품질의 제안 분포를 구성함으로써 순차적 몬테카를로(SMC) 샘플러의 효율성을 향상시키는 것.
• 기존 운반 지도 방법의 한계인 고차원 최적화 및 비凸성 문제를 조건부 분포와 ODE 기반 역학을 활용해 해결하는 것.
• 시간 이산화된 ODE와 전체 조건부 분포의 수치적 근사화를 통해 고차원 베이지안 추론에서 운반 지도의 실용적 적용을 가능하게 하는 것.

제안 방법

• 목표 사후분포의 전체 조건부 분포에서 유도된 속도장을 갖는 ODE로부터 유도된 플로우 기반 운반 지도를 제안한다.
• 시작 분포 π₀에서 사후분포 π₁로 연결되는 매끄러운 함수 λ(t)를 통한 기하학적 경로를 정의하여 시간에 따라 변하는 분포 πₜ를 설정한다.
• 조건부 기대값과 누적 적분을 통해 계산된 지브스 속도장을 사용하여 ODE 내 입자 이동을 안내한다.
• 오일러 이산화를 ODE에 적용하여 각 시간 단계 m과 성분 i에서 맵 Ψₘ,ᵢ를 정의함으로써 반복적인 표본 변환을 가능하게 한다.
• 매 시간 단계에서 제안 분포를 개선하기 위해 플로우와 리emann 다양체 해밀토니안 몬테카를로(RM-HMC) 커널을 조합하여 혼합성과 정확도를 향상시킨다.
• 불가항력적 적분을 근사하기 위해 수치적 적분(40개 점을 사용한 복합 Trapezoidal 법칙)을 사용한다.

실험 결과

연구 질문

• RQ1 전체 조건부 분포에서 유도된 플로우 기반 운반 지도가 고차원 베이지안 추론에서 표준 SMC 제안 분포보다 우수한 성능을 보일 수 있는가?
• RQ2 초기 분포(사전분포, VB, 또는 EP)의 선택이 효과적인 표본 크기와 주변 확률밀도 추정 성능 측면에서 지브스 플로우 성능에 어떤 영향을 미치는가?
• RQ3 지브스 플로우를 RM-HMC와 조합할 경우 단독 SMC나 AIS 대비 알고리즘 효율성과 정확도가 얼마나 향상되는가?
• RQ4 시간 이산화와 속도장의 수치적 근사화가 도출된 운반 지도의 품질에 어떤 영향을 미치는가?

주요 결과

• GF-AIS는 표준 AIS와 비교해 모든 테스트 차원에서 효과적인 표본 크기와 로그주변확률밀도 추정의 분산에서 수개의 지수 수준 향상을 달성한다.
• N=512개의 표본과 M=80개의 시간 단계를 사용할 때, GF-AIS는 계산 비용을 동일하게 유지함에도 불구하고 더 많은 RM-HMC 반복을 사용한 표준 AIS보다 우수한 알고리즘 효율성을 보여준다.
• 사후분포의 EP 근사로 초기화할 경우 사전분포나 VB 근사보다 훨씬 우수한 성능을 보이며, 지브스 플로우에서 초기화 품질의 중요성을 입증한다.
• 공간 해상도가 증가함에 따라(d=10², 15², 20²)도 강력한 성능 유지를 보이며, GF-AIS는 효과적인 표본 크기와 주변 확률밀도 추정 정확도 양면에서 일관된 개선을 보인다.
• 시간 이산화된 ODE와 수치적으로 근사된 전체 조건부 분포를 사용함으로써 변환된 분포의 효율적 평가가 가능해져, 복잡한 모델에 대해 확장 가능하고 실용적인 접근이 가능하다.