[論文レビュー] Variational Inference with Hamiltonian Monte Carlo

Christopher A. Wolf, Maximilian Karl+1 more|arXiv (Cornell University)|Sep 26, 2016

Markov Chains and Monte Carlo Methods参考文献 18被引用数 14

ひとこと要約

本稿では、標準的なパラメトリック族を超えて事後分布の近似を改善するため、ハミルトニアン・モンテカルロ（HMC）ステップを変分下界に統合する新規な変分推論フレームワークを提案する。HMCの受容ステップを組み込むことで、真の事後分布への漸近的収束を保証する一方、HMCの変更を施すことで収束速度を向上させ、密度推定および変分オートエンコーダーのタスクにおいて優れた性能を達成する。

ABSTRACT

Variational inference lies at the core of many state-of-the-art algorithms. To improve the approximation of the posterior beyond parametric families, it was proposed to include MCMC steps into the variational lower bound. In this work we explore this idea using steps of the Hamiltonian Monte Carlo (HMC) algorithm, an efficient MCMC method. In particular, we incorporate the acceptance step of the HMC algorithm, guaranteeing asymptotic convergence to the true posterior. Additionally, we introduce some extensions to the HMC algorithm geared towards faster convergence. The theoretical advantages of these modifications are reflected by performance improvements in our experimental results.

研究の動機と目的

• パラメトリック族を超えて変分推論における事後分布近似を改善すること。
• ハミルトニアン・モンテカルロ（HMC）ステップを変分下界に統合し、より正確な事後分布推定を実現すること。
• HMCの受容基準を活用することで、真の事後分布への漸近的収束を保証すること。
• HMCアルゴリズムに対する特化した修正を施し、収束速度を向上させること。
• 本手法の密度推定および変分オートエンコーダーのタスクにおける性能を評価すること。

提案手法

• 本手法は、推論手順の一部としてHMC遷移を含めることで、変分下界を拡張する。
• HMCの受容ステップを変分目的関数に統合し、真の事後分布分布への漸近的収束を保証する。
• 本手法は、標準的な平均場近似やノーマライジングフロー近似よりも、事後分布空間の探索をより効果的に行う。
• 収束速度の向上を図るため、適応的ステップサイズやループフロー統合のチューニングなど、HMCに対するアルゴリズム的修正を導入する。
• 本手法は、変分オートエンコーダーおよび密度推定モデルの枠組み内で適用される。
• 推論手順は微分可能であり、確率的勾配降下法によるエンドツーエンド学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 HMCステップは、パラメトリック族を超えて変分推論における事後分布近似の質を向上させ得るか？
• RQ2 HMCの受容ステップを統合することで、真の事後分布への漸近的収束が保証されるか？
• RQ3 HMCアルゴリズムに対する修正は、収束速度および推論品質にどのように影響するか？
• RQ4 本手法は、密度推定および変分オートエンコーダーのタスクにおいて、どの程度の性能向上を達成するか？
• RQ5 変分推論にHMCを統合することは、深層生成モデル向けに微分可能かつスケーラブルに可能か？

主な発見

• 提案手法は、特に複雑で多次元な事後分布において、標準的な変分推論手法を上回る事後分布近似を達成する。
• HMCの受容ステップを統合することで、真の事後分布への漸近的収束が保証され、理論的保証の妥当性が裏付けられる。
• 修正を施したHMCステップは、標準的なHMCよりも高速な収束を実現し、サンプリング効率が向上する。
• 密度推定および変分オートエンコーダーにおける実験的結果から、ベースライン手法を常に上回る性能向上が確認される。
• 本手法は微分可能性を維持しており、深層生成モデルにおけるエンドツーエンド学習が可能である。
• ベンチマークデータセットにおける尤度スコアの向上が示され、データ分布のより良いモデリングが実現している。