[論文レビュー] Bayesian Optimization for Likelihood-Free Inference of Simulator-Based Statistical Models

Michael U. Gutmann, Jukka Corander|arXiv (Cornell University)|Jan 14, 2015

Gaussian Processes and Bayesian Inference参考文献 56被引用数 86

ひとこと要約

本稿では、尤度関数が不活性なシミュレータベースのモデルにおける推論を高速化するためのベイジアン最適化を用いた手法、すなわち尤度フリー推論のためのベイジアン最適化（BOLFI）を提案する。この手法は、観測データとシミュレートされたデータの乖離をガウス過程でモデル化し、ベイジアン最適化を用いて次にシミュレートするパラメータを知的に選択することで、シミュレーション回数を数個のオーダーも削減する。これにより、尤度関数が不活性なモデルにおいて、計算効率が顕著に向上する。

ABSTRACT

Our paper deals with inferring simulator-based statistical models given some observed data. A simulator-based model is a parametrized mechanism which specifies how data are generated. It is thus also referred to as generative model. We assume that only a finite number of parameters are of interest and allow the generative process to be very general; it may be a noisy nonlinear dynamical system with an unrestricted number of hidden variables. This weak assumption is useful for devising realistic models but it renders statistical inference very difficult. The main challenge is the intractability of the likelihood function. Several likelihood-free inference methods have been proposed which share the basic idea of identifying the parameters by finding values for which the discrepancy between simulated and observed data is small. A major obstacle to using these methods is their computational cost. The cost is largely due to the need to repeatedly simulate data sets and the lack of knowledge about how the parameters affect the discrepancy. We propose a strategy which combines probabilistic modeling of the discrepancy with optimization to facilitate likelihood-free inference. The strategy is implemented using Bayesian optimization and is shown to accelerate the inference through a reduction in the number of required simulations by several orders of magnitude.

研究の動機と目的

• 尤度関数が不活性なシミュレータベースのモデルにおける尤度フリー推論手法の高い計算コストを低減すること。
• 次にどこをサンプリングするかの指針がないまま多数のランダムなシミュレーションを必要とする従来手法の非効率性を克服すること。
• 乖離の確率的モデリングと最適化を活用して、観測データを最もよく再現するパラメータ値を探索する戦略を開発すること。
• 従来の尤度ベース手法が失敗するような、隠れ変数を含む確率的力学系のような複雑なモデルにおいても、効率的な推論を可能にすること。

提案手法

• モデルのパラメータの関数として、観測データとシミュレートされたデータの乖離をガウス過程でモデル化する。
• 探索と活用のバランスを取る獲得関数に基づいて、次にシミュレートするパラメータ値をベイジアン最適化で選択する。
• 決定的または確率的な獲得ルールを用いて、乖離のガウス過程モデルを逐次的に更新する。
• 乖離関数を最小化することで、観測データを最もよく再現するパラメータ値を同定する。
• 合成尤度やABCのような尤度フリー推論フレームワークと乖離モデルを統合し、効率を向上させる。
• ガウス過程の事後分布を用いて乖離の不確実性を推定し、情報量の高い領域へ最適化を誘導する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、尤度関数が不活性なシミュレータベースのモデルにおける尤度フリー推論に必要なシミュレーション回数を数個のオーダーも削減できるか？
• RQ2 BOLFIは、標準的な尤度フリー推論手法と比較して、シミュレーション効率および収束速度の面でどのように優れているか？
• RQ3 BOLFIは、高次元パラメータ空間と非線形ダイナミクスを有する複雑なシミュレータベースのモデルをどの程度処理できるか？
• RQ4 BOLFIは、乖離推定のノイズやモデルの不適合に対してどの程度頑健か？
• RQ5 異なる獲得関数が、推論プロセスの収束性および正確性にどのような影響を与えるか？

主な発見

• BOLFIは、標準的な尤度フリー推論手法と比較して、必要なシミュレーション回数を数個のオーダーも削減する。
• Rickerモデル（100件のデータポイント）を用いた実験で、著しく少ないシミュレーション回数で正確な推論が達成された。
• 乖離に対して対数ガウス過程モデルを用いることで、効果的な不確実性評価とパラメータ空間の効率的探索が可能になった。
• このアプローチはノイズに対して頑健であり、複雑な非線形ダイナミクスや隠れ変数を有するモデルに対しても対応可能である。
• 実験的結果から、固定されたシミュレーション予算のもとで、MCMCベースの推論よりもBOLFIがより速く収束し、高い正確性を達成することが示された。
• 特に高次元パラメータ空間において、BOLFIは標準的なABCおよび合成尤度手法を上回る計算効率を示した。