[論文レビュー] Generalized Posteriors in Approximate Bayesian Computation

Sebastian M. Schmon, Patrick W Cannon+1 more|arXiv (Cornell University)|Nov 17, 2020

Markov Chains and Monte Carlo Methods参考文献 30被引用数 9

ひとこと要約

本稿は、一般化ベイズ推論（GBI）の観点から、近似ベイズ計算（ABC）を再解釈し、ABCの受容/棄却ステップを暗黙の誤差モデルとして扱う。カーネル帯域幅をロバストネスパラメータとして扱い、一般化事後分布を用いることで、モデル不適合下でも推論の効率性とロバスト性が向上し、実証的結果では、同じ計算予算下で一般化損失を用いたABC-MCMCが、標準ABCの4倍以上の有効サンプルサイズを達成した。

ABSTRACT

Complex simulators have become a ubiquitous tool in many scientific disciplines, providing high-fidelity, implicit probabilistic models of natural and social phenomena. Unfortunately, they typically lack the tractability required for conventional statistical analysis. Approximate Bayesian computation (ABC) has emerged as a key method in simulation-based inference, wherein the true model likelihood and posterior are approximated using samples from the simulator. In this paper, we draw connections between ABC and generalized Bayesian inference (GBI). First, we re-interpret the accept/reject step in ABC as an implicitly defined error model. We then argue that these implicit error models will invariably be misspecified. While ABC posteriors are often treated as a necessary evil for approximating the standard Bayesian posterior, this allows us to re-interpret ABC as a potential robustification strategy. This leads us to suggest the use of GBI within ABC, a use case we explore empirically.

研究の動機と目的

• シミュレータが不適合であるがゆえに尤度が計算不能な状況下で、ロバストなベイズ推論を実行する課題に対処すること。
• ABCの受容/棄却メカニズムを暗黙の誤差モデルとして再定式化し、一般化ベイズ推論（GBI）への接続を可能にすること。
• MMDやワッサーシュタイン距離といった柔軟な損失関数を用いた一般化事後分布を活用することで、ABCにおける計算効率とロバスト性を向上させること。
• モデル不適合下での有効サンプルサイズと安定性という観点から、一般化事後分布を用いたABC手法が標準ABCを上回ることを実証的に検証すること。

提案手法

• カーネル関数 $ K_h $ を暗黙の測定誤差モデルとして解釈し、帯域幅 $ h $ をロバストネスパラメータとして扱う。
• 標準尤度を一般化損失関数に置き換えることで、一般化ベイズ推論（GBI）をABCに適用し、シミュレータが不適合であってもロバストな事後分布近似を可能にする。
• 1回の反復で複数回のシミュレータ出力を用いた擬似周辺尤度推定をMCMCに組み込み、有効サンプルサイズ（ESS）を向上させる。
• ソフトスレッショルド（st-abc）、MMD（k²-abc）、ワッサーシュタイン（w-abc）などの損失関数を用いて一般化事後分布を定義し、特に後者2つが優れたロバスト性を示した。
• 固定された計算予算下で、受容率を約25％に保ちつつ、有効サンプルサイズ（ESS）を最大化するように、1回のMCMC反復あたりのシミュレータ出力回数をチューニングする。
• 有効サンプルサイズ（ESS）およびコルモゴロフ–スミルノフ検定を用いて、一般化ABC手法と標準ABCの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ABCの受容/棄却メカニズムは、暗黙の誤差モデルとして再解釈可能であり、一般化ベイズ推論への接続を可能にするか？
• RQ2 ABCにおける一般化事後分布の使用は、シミュレータの不適合に対するロバスト性をどのように向上させるか？
• RQ3 同じ計算予算下で、一般化損失（例：MMD、ワッサーシュタイン）を用いたABC-MCMCの相対的効率は、標準ABCに比べてどの程度高いか？
• RQ4 一般化事後分布ABCは、モデル不適合下でも標準ABCと同等の事後分布近似を達成しつつ、よりロバストであるか？

主な発見

• 150万回のシミュレータ呼び出し予算下で、ワッサーシュタイン損失（w-abc）およびMMD損失（k²-abc）を用いたABC-MCMCは、標準ABC（st-abc）に比べ、有効サンプルサイズ（ESS）が4倍以上に上昇し、それぞれ11,080と2,723を記録した。
• 一般化事後分布ABC手法は、高い不適合度下でも安定した性能を維持したが、標準ABC（st-abc）は64個の粒子を1回の反復に使用しても、顕著に高い事後分散を示した。
• k²-abcおよびw-abc手法は、不適合度のいかなる水準でもst-abcを上回り、1回の反復あたり1つの粒子しか使用しない状況でも同様に優れた性能を示した。
• 2標本コルモゴロフ–スミルノフ検定の結果、標準ABCと一般化事後分布ABC手法が生成する事後分布間に有意差は認められず、同等の精度であることが示された。
• 損失平均化はk²-abcおよびw-abcの効率を低下させたが、全粒子数にわたり、これらの手法はst-abcを上回る効率性を示し、特に低粒子数時において顕著であった。