[論文レビュー] GPS-ABC: Gaussian Process Surrogate Approximate Bayesian Computation

Edward Meeds, Max Welling|arXiv (Cornell University)|Jan 13, 2014

Markov Chains and Monte Carlo Methods参考文献 29被引用数 56

ひとこと要約

GPS-ABC は、メトロポリス・フاستリングの受容ステップにおける不確実性推定を活用することで、近似ベイズ推論（ABC）におけるシミュレータ呼び出し回数を著しく削減するためのガウス過程サーフェスを導入する。パラメータから要約統計量へのマッピングをモデル化するGPにシミュレーション結果を格納することで、新規シミュレーションを行うか、サーフェスに依存するかを適応的に決定し、後方推論における制御された誤差を伴いながら顕著な効率性向上を達成する。

ABSTRACT

Scientists often express their understanding of the world through a computationally demanding simulation program. Analyzing the posterior distribution of the parameters given observations (the inverse problem) can be extremely challenging. The Approximate Bayesian Computation (ABC) framework is the standard statistical tool to handle these likelihood free problems, but they require a very large number of simulations. In this work we develop two new ABC sampling algorithms that significantly reduce the number of simulations necessary for posterior inference. Both algorithms use confidence estimates for the accept probability in the Metropolis Hastings step to adaptively choose the number of necessary simulations. Our GPS-ABC algorithm stores the information obtained from every simulation in a Gaussian process which acts as a surrogate function for the simulated statistics. Experiments on a challenging realistic biological problem illustrate the potential of these algorithms.

研究の動機と目的

• 尤度が計算不能なシミュレーションベースのモデルにおける近似ベイズ推論（ABC）の高い計算コストに対処すること。
• ABCフレームワークにおける後方推論に必要な高価なシミュレータ呼び出し回数を削減すること。
• 過去のシミュレーションから学習し、時間経過とともに改善するガウス過程を用いたサーフェスモデリング手法を開発すること。
• サーフェスの不確実性を用いてMCMCにおけるサンプリング誤差を制御し、シミュレーション意思決定をガイドすること。
• 複雑で計算コストの高い科学的シミュレーションにおいて、効率的かつスケーラブルな推論を可能にすること。

提案手法

• 本手法は、シミュレータのパラメータから要約統計量へのマッピングをモデル化するためのガウス過程（GP）を用い、シミュレーション出力のサーフェスを構築する。
• 各MCMCステップにおいて、GPは受容確率の予測分布（不確実性推定値を含む）を提供する。
• アルゴリズムはGPの予測における不確実性を用いて、新規シミュレーションを行うか、MH意思決定においてサーフェス推定値に依存するかを決定する。
• 不確実性が高ければ、MHステップにおける誤差リスクを低減するため、追加のシミュレーションが実行される。
• GPは毎回の新しいシミュレーションに応じて段階的に更新され、精度が向上し、将来のシミュレーションニーズが減少する。
• 本手法は、GPの不確実性を直接MH受容基準に統合することで、高い効率性を伴いながら制御されたバイアスを実現する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程サーフェスを用いることで、ABC推論におけるシミュレータ呼び出し回数を削減しつつ、後方分布の正確性を維持できるか？
• RQ2 サーフェスモデルの不確実性をどのように活用して、MCMCにおける適応的シミュレーション意思決定をガイドできるか？
• RQ3 GPベースのサーフェスは、高次元または高コストなシミュレーション環境において、ABCの効率性をどの程度向上できるか？
• RQ4 サーフェスの不確実性を用いることで、尤度なし推論におけるMCMCチェーンの収束性および混合性にどのような影響を与えるか？
• RQ5 事前に計算された統計量を活用することで、後方予測検定を用いたモデルのチェックと選択をフレームワークがサポートできるか？

主な発見

• GPS-ABCアルゴリズムは、各新しいシミュレーションに伴い改善するGPサーフェスに依存することで、ABC推論に必要なシミュレータ呼び出し回数を顕著に削減する。
• GPの受容確率における不確実性を用いることで、シミュレーションを行うかサーフェスに信頼するかを決定するため、制御されたサンプリング誤差を達成する。
• 生物学的問題（Wright-Fisherモデル）に対する実験では、計算コストを著しく削減しながらも、妥当な後方分布の正確性を維持していることが示された。
• 後方予測検定は自然にサポートされており、ABCの要約統計量が事前に計算されており、モデルの評価と選択に利用可能である。
• サーフェスからの後方予測分布を用いて観測データと比較することで、効率的なモデルチェックが可能になる。
• 本手法は、ハミルトニアンモンテカルロやベイズ最適化の獲得関数など、高度なサンプリング技術との統合の可能性を示している。