[論文レビュー] Markov Chain Monte Carlo and Variational Inference: Bridging the Gap

Tim Salimans, Diederik P. Kingma+1 more|arXiv (Cornell University)|Oct 23, 2014

Markov Chains and Monte Carlo Methods参考文献 18被引用数 358

ひとこと要約

本稿では、補助変数を用いてマルコフ連鎖モンテカルロ（MCMC）ステップを変分推論に統合するハイブリッド推論フレームワークを提案する。これにより、高速な変分推論と漸近的に正確なMCMCの間のギャップを埋める柔軟な事後分布近似のクラスが可能になる。MCMC遷移と補助推論モデルの両方の最適化により、計算効率を損なわずに近似精度が向上し、標準的な変分法よりも優れた事後分布推定が達成される。

ABSTRACT

Recent advances in stochastic gradient variational inference have made it possible to perform variational Bayesian inference with posterior approximations containing auxiliary random variables. This enables us to explore a new synthesis of variational inference and Monte Carlo methods where we incorporate one or more steps of MCMC into our variational approximation. By doing so we obtain a rich class of inference algorithms bridging the gap between variational methods and MCMC, and offering the best of both worlds: fast posterior approximation through the maximization of an explicit objective, with the option of trading off additional computation for additional accuracy. We describe the theoretical foundations that make this possible and show some promising first results.

研究の動機と目的

• ベイズ推論における計算速度と近似精度のトレードオフを解消すること。
• 変分推論の効率性とMCMCの精度を統合する統一フレームワークの開発。
• 拡張空間における補助変数の導入により、MCMCステップを変分推論目的に組み込むこと。
• MCMC遷移モデルと逆方向モデルを同時にまたは逐次的に最適化し、変分下界を向上させること。
• 変分推論にMCMCステップを統合することで、よりタイトな下界とより優れた事後分布近似が得られることを示すこと。

提案手法

• MCMC連鎖の全軌道を表す補助変数を含む変分下界を定式化し、MCMC遷移と推論モデルの共同最適化を可能にする。
• 補助変数 $ y = z_0, \dots, z_{T-1} $ を用いて、$ q(z_T|x) = \int q(y,z_T|x) dy $ のように結合事後分布近似を定義し、標準的な変分族よりも豊かな近似クラスを構築する。
• 逆方向モデル $ r(y|x,z_T) $ に対して柔軟なパラメトリック形式を導入し、補助変数上の真の事後分布をよりよく近似できるように最適化可能にする。
• 解析的計算が困難な場合に不偏なモンテカルロ推定を用いて、確率的勾配変分推論により下界を最適化する。
• 同時に最適化する統合戦略と、段階的に改善する逐次戦略の両方を提案：前者は全MCMCステップを一度に最適化するが、後者は既存の近似を段階的に改善し、ブースティングに類似した挙動を示す。
• 詳細釣合の条件を満たす逆方向モデルを構築するために、冷却付き重要度サンプリングを用い、各MCMCステップで下界が向上することを保証する。

実験結果

リサーチクエスチョン

• RQ1 MCMCステップを変分推論フレームワークに埋め込むことで、明示的な目的関数を維持したまま事後分布近似を改善できるか？
• RQ2 補助変数をどのように用いることで、MCMCダイナミクスを含むより豊かな変分近似クラスを構築できるか？
• RQ3 MCMC遷移モデルと逆方向モデルを同時に最適化することで、変分下界のタイトさにどのような影響を与えるか？
• RQ4 MCMCステップを逐次的に統合することで、既存の変分近似をブースティングに類似した方法で改善できるか？
• RQ5 提案手法が、標準的な変分推論や単独のMCMCよりも優れた事後分布精度を達成するか？

主な発見

• 提案手法により、MCMCステップの統合に伴い変分下界が向上し、MCMC連鎖の長さが延びるほど、かつ遷移が最適化されるほど下界が上昇する。
• 複数のMCMC反復値を混合して事後分布近似に用いることで、分散が低減され、特に長めの連鎖では推定性能が向上する。
• 逐次MCVIアルゴリズムにより、MCMCステップを1つずつ追加することで、既存の変分近似を段階的に改善でき、収束性と性能が向上する。
• 冷却付き変分推論により、逆方向モデルを明示的に指定せずとも下界を改善できる。詳細釣合の性質を活用することで、単調な改善が保証される。
• 本フレームワークにより、速度と精度の滑らかなトレードオフが実現可能である：MCMCステップを増やすと精度が向上するが計算コストが増加し、逆にステップ数を減らすと速度は維持されるが精度は低下する。
• 実験結果から、本手法は特に多モード事後分布を示す複雑なモデルにおいて、標準的な変分推論よりもタイトな下界とより優れた事後分布近似を達成している。