[論文レビュー] Robust Bayesian Inference for Simulator-based Models via the MMD Posterior Bootstrap

Charita Dellaporta, Jeremias Knoblauch+2 more|arXiv (Cornell University)|Feb 9, 2022

Simulation Techniques and Applications被引用数 4

ひとこと要約

本稿では、MMD事後ブートストラップを用いた、シミュレータベースのモデルに対するロバストなベイズ推論手法を提案する。事後ブートストラップと最大平均差分（MMD）推定器を組み合わせることで、モデルの誤特定に対する強いロバスト性を達成する。この手法は、頻度主義的整合性と一般化境界を理論的に保証する一方で、並列処理が可能であり、誤特定設定下で標準的なABCおよびGBI手法を上回る性能を示す。

ABSTRACT

Simulator-based models are models for which the likelihood is intractable but simulation of synthetic data is possible. They are often used to describe complex real-world phenomena, and as such can often be misspecified in practice. Unfortunately, existing Bayesian approaches for simulators are known to perform poorly in those cases. In this paper, we propose a novel algorithm based on the posterior bootstrap and maximum mean discrepancy estimators. This leads to a highly-parallelisable Bayesian inference algorithm with strong robustness properties. This is demonstrated through an in-depth theoretical study which includes generalisation bounds and proofs of frequentist consistency and robustness of our posterior. The approach is then assessed on a range of examples including a g-and-k distribution and a toggle-switch model.

研究の動機と目的

• モデルの誤特定下で性能が著しく低下する既存のベイズ手法の問題を解決すること。
• 仮定されたモデルが誤りであっても、精度を維持できるロバストな推論フレームワークの開発。
• 事後ブートストラップとMMDに基づく損失関数を活用することで、スケーラブルで並列処理可能な推論の実現。
• 提案手法に対して、頻度主義的整合性と一般化境界を含む理論的保証の提供。
• g-and-kおよびトグルスイッチモデルを用いた実験的評価を通じて、手法のロバスト性の実証。

提案手法

• 事後ブートストラップとMMDに基づく損失関数を組み合わせることで、ロバストな事後分布を構築する新しいアルゴリズムを提案する。
• データ生成分布に対する非パラメトリック事後分布を形成するために、経験的データで更新されるセンターイング測度を伴うディリクレ過程事前分布を用いる。
• スティック・ブレイキング過程を用いて事後分布を定義し、正確なDP事後分布からのサンプリングを可能にすることで、非パラメトリックな柔軟性を確保する。
• 観測データとシミュレートされたデータの分布間のMMDを、不確実性に強い損失関数として用い、乖離を最小化する。
• 有限個の成分で制御される、切り捨てられたスティック・ブレイキング過程を用いてDP事後分布を近似する。この際、切り捨て限界 $T$ が制御に寄与する。
• 学習可能な長さスケール $l$ を持つガウスカーネルを用いてMMD損失を最適化し、感度分析とロバストネスのチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルが誤特定されている状況下でも、シミュレータベースのモデルに対するベイズ推論手法が整合性とロバスト性を維持できるか。
• RQ2 提案手法であるMMD事後ブートストラップは、標準的なABCおよび一般化ベイズ推論と比較して、カバレッジとロバスト性の面で優れているか。
• RQ3 $\alpha$、$T$、およびカーネル長さスケール $l$ などのハイパーパrameterが推論性能に与える影響は何か。
• RQ4 モデルが誤特定されている状況下でも、一般化境界および頻度主義的整合性が達成されるか。
• RQ5 外れ値が存在する状況において、この手法は事前分布の誤特定に対してどれほど感度を示すか。

主な発見

• モデルが誤特定されている状況下でも、頻度主義的整合性と一般化境界を達成しており、ロバスト推論の理論的基盤を提供する。
• MMD事後ブートストラップは、$\alpha$ や $\mathbb{F}$ の値が変化しても性能が安定しており、特に $\alpha$ が小さい場合に強いロバストネスを示す。
• $T \geq 10$ の範囲では、切り捨て限界 $T$ に対して感度が低く、DP近似の収束が安定していることが示された。
• ガウスカーネルの長さスケール $l$ が小さいほど、最適化性能が向上し、真のパラメータ値の周辺でMMD損失の地形が鋭くなることが実証された。
• g-and-k分布およびトグルスイッチモデルに対する実験的結果から、ABCおよびGBI手法と比較して、誤特定下でも優れたロバストネスと正確なパラメータ推定が達成された。
• 事後ブートストラップアプローチにより、並列処理が可能で、複雑なシミュレータに対してもスケーラブルな推論が実現された。