[論文レビュー] Adaptive Gaussian process surrogates for Bayesian inference

Timur Takhtaganov, Juliane Müller|arXiv (Cornell University)|Sep 27, 2018

Gaussian Processes and Bayesian Inference参考文献 27被引用数 6

ひとこと要約

本稿では、計算的に高価な逆問題におけるベイズ推論のための適応的ガウス過程（GP）サーモン法を提案する。観測データへの不適合度を最小化するために逐次的に訓練点を選択する期待改善（expected improvement）を用いることで、わずか34回の前方モデル評価で正確な事後分布推定を達成し、非適応的設計と比較して顕著なコスト削減を実現しながら、真の事後分布に高い忠実性を保った。

ABSTRACT

We present an adaptive approach to the construction of Gaussian process surrogates for Bayesian inference with expensive-to-evaluate forward models. Our method relies on the fully Bayesian approach to training Gaussian process models and utilizes the expected improvement idea from Bayesian global optimization. We adaptively construct training designs by maximizing the expected improvement in fit of the Gaussian process model to the noisy observational data. Numerical experiments on model problems with synthetic data demonstrate the effectiveness of the obtained adaptive designs compared to the fixed non-adaptive designs in terms of accurate posterior estimation at a fraction of the cost of inference with forward models.

研究の動機と目的

• 科学および工学分野における高価な前方モデルのベイズ推論の計算コストを低減すること。
• 繰り返し前方モデル評価が困難な高次元でノイズの多い逆問題に取り組むこと。
• グローバルな近似ではなく、事後分布の濃度領域に焦点を当てた局所的サーモンを構築すること。
• モデル適合度の期待改善に基づく適応的訓練入力選択により、事後分布推定の精度を向上させること。
• 限られた訓練データからのエピステミック的不確実性を、完全なベイズ的GPフレームワーク内で統合すること。

提案手法

• 前方モデルを完全なベイズ的GPモデルで表現し、観測ノイズと限られたデータからのエピステミック的不確実性を組み込む。
• 観測データへの不適合度の予想される低減を最大化するように、期待改善（EI）に基づく獲得関数を定式化し、新たな訓練点の選定を導く。
• 事前分布のサポート上でEI関数をマルチスタート最適化することで、最も情報量の多い入力位置を同定する。
• 訓練セットはラテンハイパーボリューム設計で初期化され、その後、反復的なEI最大化により適応的に拡充される。
• ハイパーパrameterは非情報的事前分布を用いたマルコフ連鎖モンテカルロ（MCMC）法により推定され、カーネルパラメータの不確実性に対してもロバストである。
• 最終的なGPサーモンは、コストの高い完全な前方モデル評価に代わって、モデルパラメータの事後分布を近似するために使用される。

実験結果

リサーチクエスチョン

• RQ1 期待改善を用いた適応的サンプリングは、高価なモデルにおけるベイズ推論の事後分布推定精度を向上させ得るか？
• RQ2 固定的で非適応的な設計と比較して、適応的GPサーモンの性能は、事後分布の精度と計算コストの観点でどのように異なるか？
• RQ3 局所的GPサーモンは、正確な推論に必要な前方モデル評価回数をどの程度削減できるか？
• RQ4 グローバルな不適合度関数の最小値に到達していない場合でも、提案手法は真の事後分布に忠実性を保っているか？
• RQ5 完全な前方モデルと比較して、適応的GPサーモンによって推定された95％最高事後密度（HPD）領域はどの程度一致するか？

主な発見

• 適応的GPサーモンは、わずか34回の前方モデル評価で正確な事後分布推定を達成し、完全モデル推論と比較して顕著な計算コスト削減を実現した。
• GPサーモンを用いて推定された95％最高事後密度（HPD）領域は真の事後分布と非常に近く、θ₃およびθ₄のパラメータにおいて僅かなずれを示したにとどまった。
• 不適合度関数のグローバル最小値（g_min* = 12.62）に到達していなくても、アルゴリズムは17回目の反復で期待改善がゼロに収束し、パラメータ空間の効果的な探索が行われたことを示した。
• GPベースの事後分布の1次元および2次元周辺分布は、真の事後分布と極めて一致しており、信頼性の高い不確実性評価を示した。
• GPモデルからの中央値事後分布に基づく透水率場の点推定は、完全モデルからの推定と視覚的および定量的にも近く、本手法の予測精度を裏付けた。
• 限られたデータとノイズの多い観測に対しても、本手法は事後分布のモードと信用区間を的確に捉えており、ロバスト性を示した。