[論文レビュー] Asymptotically exact inference in likelihood-free models

Matthew M. Graham, Amos Storkey|arXiv (Cornell University)|May 25, 2016

Bayesian Methods and Mixture Models被引用数 1

ひとこと要約

本稿では、観測出力と整合する入力が定める多様体の滑らかな幾何構造を活用することで、尤度フリーなモデルにおける漸近的に正確なマルコフ連鎖モンテカルロ（MCMC）推論手法を提案する。制約付きハミルトニアン・モンテカルロ（HMC）アプローチを用いることで、観測出力と整合する入力多様体の効率的かつ一貫した探索が可能となり、生成プロセスが入力に関して微分可能であるモデルにおいて、近似ベイズ推論（ABC）の正確な代替手段を提供する。

ABSTRACT

Many generative models can be expressed as a differentiable function of random inputs drawn from some simple probability density. This framework includes both deep generative architectures such as Variational Autoencoders and a large class of procedurally defined simulator models. We present a method for performing efficient MCMC inference in such models when conditioning on observations of the model output. For some models this offers an asymptotically exact inference method where Approximate Bayesian Computation might otherwise be employed. We use the intuition that inference corresponds to integrating a density across the manifold corresponding to the set of inputs consistent with the observed outputs. This motivates the use of a constrained variant of Hamiltonian Monte Carlo which leverages the smooth geometry of the manifold to coherently move between inputs exactly consistent with observations. We validate the method by performing inference tasks in a diverse set of models.

研究の動機と目的

• 近似ベイズ推論（ABC）が一般的に用いられる尤度フリーなモデルにおける漸近的に正確な推論手法の開発を目的とする。
• 高次元または複雑な生成モデルにおいてABCの非効率性と不正確さを是正することを目的とする。
• 観測値に対応する入力多様体の滑らかな幾何的構造を活用することを目的とする。
• 観測出力と整合する入力多様体を一貫して効率的に走査できるMCMCサンプリングを可能とすることを目的とする。
• 深層生成モデルや微分可能な生成プロセスを備えた手続き的シミュレータの両方に適用可能な一般化されたフレームワークを提供することを目的とする。

提案手法

• 観測出力を正確に再現する入力の多様体上での事後密度の統合として推論問題を定式化する。
• 微分可能な生成モデルを用いて、与えられた観測値に対応する入力空間内の滑らかな多様体を定義する。
• 多様体の幾何構造を尊重するHMCの制約付きバージョンを適用し、詳細平衡と正確性を保証する。
• 勾配を接空間に射影することで、サンプリング中にマルコフ連鎖が多様体上に維持される動的制約を実装する。
• 生成関数の滑らかさと微分可能性を活用して、勾配および曲率情報を計算し、効率的な探索を実現する。
• 適応的ステップサイズを用いた数値積分によりエネルギーを保存し、真の事後分布への収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ABC やカーネル密度推定に依存せずに、尤度フリーなモデルにおいて漸近的に正確なベイズ推論を達成できるか？
• RQ2 微分可能な生成モデルにおいて、観測出力を正確に再現する入力の高次元多様体を効率的に探索できるか？
• RQ3 制約付きHMCは、生成プロセスによって定義される複雑で非線形な多様体を正確に維持しながら走査できるか？
• RQ4 従来の尤度フリー推論手法と比較して、この手法が示す計算的・統計的利点は何か？
• RQ5 VAE や手続き的シミュレータを含む多様なモデルクラスにおいて、この手法はどのようにスケーリングするか？

主な発見

• 本手法は、観測出力と一致する入力多様体上の正確な事後分布からの直接サンプリングにより、尤度フリーなモデルにおける漸近的に正確な推論を達成する。
• 特に高次元設定において、標準的なABC手法よりも精度と収束速度が優れている。
• 制約付きHMCフレームワークにより、入力多様体の効率的かつ一貫した探索が可能となり、ランダムウォーク的挙動が低減される。
• VAE などの深層生成モデルや微分可能な部品を備えた手続き的シミュレータの両方へ適用可能である。
• 実験的検証により、多様なモデルにおいて信頼性の高い推論が得られ、本手法の頑健性と一般化可能性が確認された。