[論文レビュー] Variational Bayesian Monte Carlo with Noisy Likelihoods

Luigi Acerbi|Työväentutkimus Vuosikirja|Jun 15, 2020

Gaussian Processes and Bayesian Inference参考文献 56被引用数 28

ひとこと要約

本論文は、ノイズのある対数尤度評価を扱えるように、Variational Bayesian Monte Carlo (vbmc) を拡張し、期待情報量 (eig) と変分分位範囲 (viqr) のようなロバストなグローバルな獲得関数を導入することで、シミュレーションベースのモデルにおける効率的でサンプル効率の高いベイズ推論を実現した。この手法は、現実の神経科学モデルを対象とした新規で挑戦的なベンチマークで最先端の性能を達成し、局所的な獲得関数や他のサーモグラフベースの手法を上回りながら、計算コストを低く保った。

ABSTRACT

Variational Bayesian Monte Carlo (VBMC) is a recently introduced framework that uses Gaussian process surrogates to perform approximate Bayesian inference in models with black-box, non-cheap likelihoods. In this work, we extend VBMC to deal with noisy log-likelihood evaluations, such as those arising from simulation-based models. We introduce new `global' acquisition functions, such as expected information gain (EIG) and variational interquantile range (VIQR), which are robust to noise and can be efficiently evaluated within the VBMC setting. In a novel, challenging, noisy-inference benchmark comprising of a variety of models with real datasets from computational and cognitive neuroscience, VBMC+VIQR achieves state-of-the-art performance in recovering the ground-truth posteriors and model evidence. In particular, our method vastly outperforms `local' acquisition functions and other surrogate-based inference methods while keeping a small algorithmic cost. Our benchmark corroborates VBMC as a general-purpose technique for sample-efficient black-box Bayesian inference also with noisy models.

研究の動機と目的

• 計算神経科学や認知神経科学で一般的に見られる、高価でノイズのある対数尤度評価を伴うモデルにおける、効率的なベイズ推論を実現すること。
• 元々ノイズのない評価を想定して設計された vbmc フレームワークを、サンプル効率や精度を損なわずに、ノイズのある尤度をロバストに扱えるように拡張すること。
• 変分推論とガウス過程サーモグラフフレームワーク内において、ノイズに強いだけでなく計算効率の高い新たな獲得関数を開発すること。
• ノイズのあるシミュレーションベースの尤度を伴う、5つの現実の神経科学モデルから構成される新規で現実的なベンチマークを用いて、手法の妥当性を検証すること。
• vbmc に viqr を組み込むことで、既存のサーモグラフベースの推論手法と比較して、事後分布の回復とモデル証拠の推定において優れた性能を示すことを示すこと。

提案手法

• ノイズのある対数尤度評価に特化して設計された2つの新しいグローバル獲得関数、期待情報量 (eig) と変分分位範囲 (viqr) を導入する。
• 事後分布の変分表現を用いることで、モンテカルロ近似よりも計算コストを低減する解析的かつ高速な獲得関数の計算を可能にする。
• 非軸対称の事後分布に対処するため、変分ホワイトニングを適用し、ノイズ環境下でも安定性と性能を向上させる。
• ガウス過程サーモグラフを介してベイズ四則演算を用いて、モデル証拠の変分下界（ELBO）を計算し、事後分布とモデル証拠の同時推論を可能にする。
• アクティブな精錬を開始する前に、高事後確率領域への収束を加速するためのウォームアップ段階を導入する。
• 階層的ノイズモデルを用いて獲得関数にノイズ推定値を統合し、感度解析により、不正確なノイズ推定値に対してもロバストであることを示す。

実験結果

リサーチクエスチョン

• RQ1 vbmc フレームワーク内において、ノイズのある尤度評価の下で、eig や viqr のようなグローバル獲得関数が局所的獲得関数を上回ることができるか？
• RQ2 シミュレーションベースのモデルにおける観測ノイズの不正確な推定値に対し、拡張された vbmc 手法はどの程度ロバストか？
• RQ3 変分ホワイトニングの導入により、ノイズ環境下における非軸対称の事後分布の推論性能が向上するか？
• RQ4 実世界の神経科学問題において、vbmc に viqr を組み込んだ手法は、他の最先端のサーモグラフベースの推論手法と比較して、事後分布の精度とモデル証拠の推定において優れているか？
• RQ5 本手法は、実データとノイズのある尤度を伴う複雑で高次元のモデルに適用した場合でも、高いサンプル効率と精度を維持できるか？

主な発見

• vbmc に viqr を組み込んだ手法は、ノイズのある尤度を伴う5つの現実の神経科学モデルを対象とした多様なベンチマークにおいて、真の事後分布の回復とモデル証拠の推定で最先端の性能を達成した。
• この手法は、ノイズ環境下でのロバスト性と解の質の面で、局所的獲得関数や他のサーモグラフベースの推論手法を上回った。
• ノイズのある尤度評価下でも、性能の低下はわずかで、ノイズ推定値の標準偏差が σσ ≈ 0.4 に達しても、平均マージナル全変動（MMTV）の中央値は25％未満の増加にとどまった。
• 不正確なノイズ推定値に対しても、性能の低下は最小限に抑えられ、真の値から2.2倍のずれがあっても、顕著な性能低下が見られなかった。
• 変分ホワイトニングの導入により、特にノイズ環境下で非軸対称の事後分布の推論安定性と精度が顕著に向上した。
• ベンチマークにより、g-and-k モデルはサーモグラフベースの手法にとって相対的に容易であるのに対し、実世界の神経科学的問題では顕著な性能差が示された。これは、提案されたテストスイートの挑戦性と関連性を強調している。