[論文レビュー] Likelihood-free MCMC with Amortized Approximate Ratio Estimators

Joeri Hermans, Volodimir Begy+1 more|arXiv (Cornell University)|Mar 10, 2019

Gaussian Processes and Bayesian Inference参考文献 76被引用数 27

ひとこと要約

この論文は、尤度が非定義な場合に効率的な事後分布サンプリングを可能にする、尤度フリーMCMC手法を提案している。尤度から証拠への比をアモアタイズドニューラルネットワークで近似することで、尤度評価を直接行わずに事後分布推論が可能となる。一度訓練した比推定器をMCMCの反復処理中に再利用することで、数値的安定性が向上し、近似品質の診断ツールも提供される。

ABSTRACT

Posterior inference with an intractable likelihood is becoming an increasingly common task in scientific domains which rely on sophisticated computer simulations. Typically, these forward models do not admit tractable densities forcing practitioners to make use of approximations. This work introduces a novel approach to address the intractability of the likelihood and the marginal model. We achieve this by learning a flexible amortized estimator which approximates the likelihood-to-evidence ratio. We demonstrate that the learned ratio estimator can be embedded in MCMC samplers to approximate likelihood-ratios between consecutive states in the Markov chain, allowing us to draw samples from the intractable posterior. Techniques are presented to improve the numerical stability and to measure the quality of an approximation. The accuracy of our approach is demonstrated on a variety of benchmarks against well-established techniques. Scientific applications in physics show its applicability.

研究の動機と目的

• 尤度が非定義で周辺モデルも非定義な科学的モデルにおける事後分布推論の課題に対処すること。
• 明示的な尤度評価を必要とせずに、尤度から証拠への比を近似する手法を開発すること。
• 複数のパラメータ提案に対して比推定をアモアタイズすることで、効率的なMCMCサンプリングを実現すること。
• 数値的安定性を向上させるとともに、尤度が非定義な状況における近似品質の評価に役立つ診断ツールを提供すること。
• 物理学的問題や複雑なシミュレーションに代表される現実世界の科学的問題への適用可能性を示すこと。

提案手法

• 前方モデルから得られるシミュレーテッドデータを用いて、尤度から証拠への比 $ r(\mathbf{x}|\bm{\theta}) = \frac{p(\mathbf{x}|\bm{\theta})}{p(\mathbf{x})} $ を推定するニューラルネットワークを訓練する。
• 学習済みの比推定器を用いて、メトロポリス・ハスティングスおよびハミルトニアンモンテカルロサンプラーにおける受容率を計算し、直接的な尤度評価を回避する。
• 一度のデータセット $ (\bm{\theta}, \mathbf{x}) $ の学習で比推定をアモアタイズし、MCMCの遷移処理中に再利用可能にする。
• 複数回の前方シミュレーションにおける比推定器の分散に基づく診断指標を導入し、近似品質の評価に役立てる。
• MCMCサンプリング中の数値的ロバストネスを向上させるために、正規化および安定化技術を比推定器に適用する。
• 一般化性および推定器の能力を評価するために、全結合型および畳み込み型アーキテクチャ（例：LeNet、ResNet）を用いる。

実験結果

リサーチクエスチョン

• RQ1 尤度が非定義な状況において、尤度から証拠への比を近似できるニューラルネットワークを訓練し、効率的なMCMCサンプリングを可能にすることができるか？
• RQ2 標準的な尤度フリー推論手法と比較して、アモアタイズド比推定は、サンプリングの正確性および効率性においてどのように異なるか？
• RQ3 学習済みの比推定器は、再訓練なしに複数のMCMC反復処理に信頼性を持って使用できるか？
• RQ4 尤度が非定義な状況において、近似品質を効果的に評価するための診断ツールは何か？
• RQ5 本手法は、高次元の観測を持つ物理学的モデルのような複雑な科学的モデルへスケーリング可能か？

主な発見

• 提唱された手法は、円モデルやg-and-k分布といったベンチマーク問題において、既存の尤度フリー推論技術と同等の事後分布サンプリングの正確性を達成した。
• アモアタイズド比推定器により、一度に訓練したネットワークをすべての遷移処理に再利用することで、安定的かつ効率的なMCMCサンプリングが可能となり、計算オーバーヘッドが低減された。
• 複数回の前方シミュレーションにおける比推定器の分散に基づく診断指標は、特に円モデルにおける $ r $ のようなパラメータの近似が不十分な領域を効果的に特定した。
• 本手法は、物理学的シミュレーションモデルにおいても優れた性能を示し、現実の科学的推論タスクへの適用可能性を示した。
• より高い容量を持つモデル（例：ResNet-18）は、単純なアーキテクチャ（例：全結合型）よりも、特に複雑な事後分布の推定において優れた性能を示した。
• 比推定器にReLU活性化関数を用いることで、他の活性化関数の選択と比較して、より安定的かつ正確な周辺事後分布推定が得られた。