[論文レビュー] Accelerating ABC methods using Gaussian processes

R. Wilkinson|arXiv (Cornell University)|Jan 7, 2014

Gaussian Processes and Bayesian Inference参考文献 24被引用数 66

ひとこと要約

本稿では、滑らかさと連続性を活用して対数尤度関数をガウス過程（GP）でモデル化することで、シミュレータの評価回数を削減するガウス過程（GP）加速型近似ベイズ推定（ABC）を提案する。標準ABCと比較して最大100倍少ないシミュレーション回数で実現可能であり、集団遺伝学的モデルにおける正確な事後分布の最初の近似を可能にする。

ABSTRACT

Approximate Bayesian computation (ABC) methods are used to approximate posterior distributions using simulation rather than likelihood calculations. We introduce Gaussian process (GP) accelerated ABC, which we show can significantly reduce the number of simulations required. As computational resource is usually the main determinant of accuracy in ABC, GP-accelerated methods can thus enable more accurate inference in some models. GP models of the unknown log-likelihood function are used to exploit continuity and smoothness, reducing the required computation. We use a sequence of models that increase in accuracy, using intermediate models to rule out regions of the parameter space as implausible. The methods will not be suitable for all problems, but when they can be used, can result in significant computational savings. For the Ricker model, we are able to achieve accurate approximations to the posterior distribution using a factor of 100 fewer simulator evaluations than comparable Monte Carlo approaches, and for a population genetics model we are able to approximate the exact posterior for the first time.

研究の動機と目的

• シミュレータが高価で、高い精度（低い許容誤差）が求められる場合に生じるABC手法の高い計算コストに対処すること。
• ランダムサンプリングに依存し、尤度関数の既知の滑らかさを無視する標準ABCアルゴリズムの非効率性を克服すること。
• 逐次的・適応的設計とGPモデルを用いて、パラメータ空間を効率的に探索し、シミュレータ実行回数を削減する手法を開発すること。
• 従来のABCが計算的に不可能であるため、複雑なシミュレータや高次元出力を伴うモデルにおいても、正確な事後分布の近似を可能にすること。

提案手法

• シミュレータ出力を真の尤度のノイズのある観測値とみなして、未知の対数尤度関数をガウス過程でモデル化する。
• 複数の波にわたり、徐々に精度を高めるGPモデルの系列を適用し、空間を均等に埋める設計を用いて新たな評価点を選択する。
• 対数尤度の連続性と滑らかさを活用して、妥当な領域を予測し、不適切なパラメータ空間の領域を早期に除外する。
• 分散を低減しGPモデリングを改善するため、滑らかな受容カーネルを用いた一般化ABC（GABC）フレームワークを適用する。
• O(N³)からO(M²N)に訓練コストを削減するスパースGP近似を用い、M ≪ Nとして、より大きなデータセットへのスケーラビリティを実現する。
• 各波において診断チェックとユーザの監視を実施し、GPフィットや設計選択の不適切さによる誤りを回避する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程を用いてABCにおける対数尤度関数をモデル化することで、シミュレータ評価回数を削減できるか？
• RQ2 逐次的・適応的設計によるGPモデルは、ABCにおけるランダムサンプリングと比較して、計算効率と精度の面で優れているか？
• RQ3 標準ABCが計算コストのため失敗するモデルにおいて、GP-加速型ABCは正確な事後分布を近似できるか？
• RQ4 尤度関数の滑らかさが、GP-加速型ABCの性能に与える影響は何か？
• RQ5 ABC推論における精度を損なわずに、GP訓練の計算コストをどのように低減できるか？

主な発見

• リッカー・モデルでは、GP-加速型ABCが、標準的なモンテカルロABCと比較して100分の1のシミュレータ評価回数で、正確な事後分布の近似を達成した。
• 集団遺伝学的モデルでは、従来のABCでは計算限界のため不可能だった正確な事後分布の最初の近似が、本手法によって可能になった。
• GP-ABCの事後分布は、局所線形補正を施したリジェクションABCよりも正確であり、許容誤差εを小さくするに従い、正確な事後分布へのトレンドをよりよく捉えていることが分かった。
• 本手法は対数尤度の滑らかさに依存しており、万能ではないが、尤度表面が十分に滑らかである場合には顕著な計算コストの削減が得られる。
• スパースGP近似により、訓練コストをO(N³)からO(M²N)に削減し、精度を維持したままより大きな問題へのスケーラビリティを実現した。
• 追加の近似層を導入しているにもかかわらず、本手法は標準的手法で実現可能な許容誤差よりも小さい値を許容できるため、ABC推論においてより高い精度を達成できる。