[論文レビュー] Gibbs flow for approximate transport with applications to Bayesian computation

Jeremy Heng, Randal Douc+1 more|arXiv (Cornell University)|Sep 29, 2015

Markov Chains and Monte Carlo Methods参考文献 28被引用数 32

ひとこと要約

本稿では、ターゲット事後分布のフル条件付き分布から導出される速度場を有する常微分方程式を用いて、サンプルを段階的に変換することで、ベイズ計算における近似輸送写像を構築する新規手法であるGibbs flowを提案する。この手法により、計算コストを固定した状態で、最新の手法と比較して有効サンプルサイズと周辺尤度推定の精度が顕著に向上する順方向モンテカルロ法の効率化が可能になる。

ABSTRACT

Let $π_{0}$ and $π_{1}$ be two distributions on the Borel space $(\mathbb{R}^{d},\mathcal{B}(\mathbb{R}^{d}))$. Any measurable function $T:\mathbb{R}^{d} ightarrow\mathbb{R}^{d}$ such that $Y=T(X)\simπ_{1}$ if $X\simπ_{0}$ is called a transport map from $π_{0}$ to $π_{1}$. For any $π_{0}$ and $π_{1}$, if one could obtain an analytical expression for a transport map from $π_{0}$ to $π_{1}$, then this could be straightforwardly applied to sample from any distribution. One would map draws from an easy-to-sample distribution $π_{0}$ to the target distribution $π_{1}$ using this transport map. Although it is usually impossible to obtain an explicit transport map for complex target distributions, we show here how to build a tractable approximation of a novel transport map. This is achieved by moving samples from $π_{0}$ using an ordinary differential equation with a velocity field that depends on the full conditional distributions of the target. Even when this ordinary differential equation is time-discretized and the full conditional distributions are numerically approximated, the resulting distribution of mapped samples can be efficiently evaluated and used as a proposal within sequential Monte Carlo samplers. We demonstrate significant gains over state-of-the-art sequential Monte Carlo samplers at a fixed computational complexity on a variety of applications.

研究の動機と目的

• 解析的解が不適切な複雑なベイズ事後分布における輸送写像の実用的近似を構築すること。
• 流体動力学にインspiredされたフロー輸送を用いて、高品質な提案分布を構築することで、順方向モンテカルロ（SMC）サンプラーの効率を向上させること。
• 高次元最適化や非凸性といった従来の輸送写像手法の限界を、条件付き分布とODEベースの力学を活用することで克服すること。
• 時間離散化されたODEとフル条件付き分布の数値近似を用いることで、高次元ベイズ推論における輸送写像の実用的応用を可能にすること。

提案手法

• 目的事後分布のフル条件付き分布から構築された速度場を有するODEに基づくフローベース輸送写像を提案する。
• 時間変動する分布πₜを定義するため、事前分布π₀から事後分布π₁への滑らかな関数λ(t)を介した幾何的経路を用いる。
• 条件付き期待値と累積積分を用いて計算されるGibbs速度場を用い、ODEにおける粒子移動をガイドする。
• ODEにEuler離散化を適用し、各時刻mと各成分iに対して写像Ψₘ,ᵢを定義することで、繰り返しによるサンプル変換を可能にする。
• 各時刻でRM-HMCカーネルを組み合わせることで、提案分布の品質を向上させ、混合性と精度を向上させる。
• 速度場計算における扱いにくい積分を、R=40点の複合台形則を用いた数値積分で近似する。

実験結果

リサーチクエスチョン

• RQ1 フル条件付き分布から導出されるフローベース輸送写像は、高次元ベイズ推論において標準的なSMC提案分布を上回る性能を示すか？
• RQ2 初期分布（事前分布、VB、EP）の選択が、有効サンプルサイズと周辺尤度推定の観点でGibbsフローの性能に与える影響はいかほどか？
• RQ3 GibbsフローをRM-HMCと組み合わせることで、単独のSMCやAISと比較して、アルゴリズムの効率性と正確性がどの程度向上するか？
• RQ4 時間離散化と速度場の数値近似が、得られる輸送写像の品質に与える影響はどの程度か？

主な発見

• GF-AIS（GibbsフローとRM-HMCを組み合わせた手法）は、全テスト次元において、標準AISと比較して有効サンプルサイズと対数周辺尤度推定の分散が数個のオーダー向上している。
• N=512サンプル、M=80時刻ステップの条件下で、GF-AISは計算コストを同等に保った状態で、より多くのRM-HMC反復を用いた標準AISでさえも上回っている。これは、アルゴリズム的効率の優位性を示している。
• 事後分布のEP近似を初期化に用いることで、事前分布やVB近似を用いた場合と比較して顕著に優れた性能を発揮しており、Gibbsフローにおける初期化の質の重要性が浮き彫りになっている。
• 空間解像度が上昇する（d=10², 15², 20²）状況でも、GF-AISは有効サンプルサイズと周辺尤度推定の正確性の両面で一貫した向上を示している。
• 時間離散化されたODEと数値近似されたフル条件付き分布を用いることで、写像された分布の評価が効率的に行えるようになり、複雑なモデルに対してもスケーラブルかつ実用的なアプローチが可能になった。