[論文レビュー] Generalizing Hamiltonian Monte Carlo with Neural Networks

Daniel Lévy, Matthew D. Hoffman+1 more|arXiv (Cornell University)|Nov 25, 2017

Markov Chains and Monte Carlo Methods参考文献 38被引用数 25

ひとこと要約

この論文では、複雑で高次元の分布から効率的にサンプリングできるように、ハミルトニアン・モンテカルロ（HMC）の深層ニューラルネットワークに基づく一般化手法を提案する。ネットワークを期待平方ジャンプ距離（ESJD）を最大化するように訓練することで、混合速度が著しく向上し、有効サンプルサイズが最大106倍改善された。同時に、変分オートエンコーダーにおけるより表現力のある非ガウス型事後分布近似を可能にした。

ABSTRACT

We present a general-purpose method to train Markov chain Monte Carlo kernels, parameterized by deep neural networks, that converge and mix quickly to their target distribution. Our method generalizes Hamiltonian Monte Carlo and is trained to maximize expected squared jumped distance, a proxy for mixing speed. We demonstrate large empirical gains on a collection of simple but challenging distributions, for instance achieving a 106x improvement in effective sample size in one case, and mixing when standard HMC makes no measurable progress in a second. Finally, we show quantitative and qualitative gains on a real-world task: latent-variable generative modeling. We release an open source TensorFlow implementation of the algorithm.

研究の動機と目的

• 多峰性、悪条件、または急激に変化するエネルギー場における標準HMCの限界を克服する。
• エネルギー面の異なるレベルやモード境界を越えて、HMCの混合速度が遅く、探索が不十分である問題を解決する。
• 標準HMCよりも収束性と混合速度に優れる、トレーニング可能で汎用的なMCMCカーネルを開発する。
• 複雑で非ガウス型のサンプリングダイナミクスを学習することで、潜在変数モデルにおけるより表現力のある事後分布近似を実現する。
• 手動のチューニングなしに、高次元推論タスクに適用可能なブラックボックス型でエンドツーエンドトレーニング可能なサンプラーを提供する。

提案手法

• 現在の状態と運動量を入力として、新しい状態を出力する深層ニューラルネットワークを用いてHMC遷移カーネルをパrameter化する。
• 混合速度を測る指標である期待平方ジャンプ距離（ESJD）に基づく微分可能代理損失を用いてネットワークを訓練する。
• ハミルトニアンダイナミクスを微分可能に統合することで、バックプロパゲーションによるエンドツーエンド学習を可能にする。
• 詳細つり合いの法則を保証し、ターゲット分布への収束を確保するために、メトロポリス・ハスティングスの受容/拒否ステップを適用する。
• 変分オートエンコーダー（VAEs）に学習済みサンプラーを統合し、事後分布近似の質を向上させる。
• ブロックギブスサンプリングと事後分布の可視化を用いて、学習済みサンプラーの表現力の高さを評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを用いてHMCを一般化させることで、多様なターゲット分布において混合速度を向上させられるか。
• RQ2 学習済みMCMCカーネルは、有効サンプルサイズと収束速度の観点で、標準HMCをどの程度上回れるか。
• RQ3 提案手法は、標準的なガウス型変分推論と比較して、潜在変数モデルにおけるより表現力のある事後分布近似を可能にするか。
• RQ4 MNISTのような現実世界の複雑なデータ分布において、学習済みサンプラーはどの程度の性能を示すか。
• RQ5 位置ジャンプ以外の高次自己相関やその他のサンプル統計量をターゲットにした拡張は可能か。

主な発見

• 標準HMCと比較して、1つのベンチマーク分布において有効サンプルサイズが106倍向上した。
• 挑戦的な多峰性分布において、学習済みサンプラーは効果的に混合したが、標準HMCは測定可能な進展がなかった。
• 学習済みサンプラーを用いたブロックギブスインpaintingでは、モード間（例：数字3、5、8、9）の混合に成功した。一方、標準的な事後分布近似は単一のモードに閉じ込められていた。
• 事後分布の可視化から、学習済みサンプラーを用いることで、潜在空間に非ガウス的かつ多峰性の構造が明確に現れた。これは、その表現力の高さを裏付ける。
• 変分オートエンコーダーの学習において、ホールドアウトデータの対数尤度が向上し、生成モデルの定量的性能向上を示した。
• オープンソースのTensorFlow実装により、再現性が確保され、実世界の推論パイプラインへの統合が可能になった。