[論文レビュー] Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks

Marvin Schmitt, Paul‐Christian Bürkner+2 more|arXiv (Cornell University)|Dec 16, 2021

Gaussian Processes and Bayesian Inference被引用数 12

ひとこと要約

この論文は、シミュレーションベース推論（SBI）におけるニューラルネットワークを用いたアンモタライズドベイジアン推論のための、テスト時における不確実性の検出手法を提案している。最大平均差分（MMD）を用いて要約統計量空間における分布の不一致を測定することで、訓練時に使用されたシミュレータと真のデータ生成過程とのずれを、真のデータにアクセスできない状況でも信頼性高く検出でき、神経的後方分布近似器からの推定が信頼できない状況をユーザーに警告する。

ABSTRACT

Neural density estimators have proven remarkably powerful in performing efficient simulation-based Bayesian inference in various research domains. In particular, the BayesFlow framework uses a two-step approach to enable amortized parameter estimation in settings where the likelihood function is implicitly defined by a simulation program. But how faithful is such inference when simulations are poor representations of reality? In this paper, we conceptualize the types of model misspecification arising in simulation-based inference and systematically investigate the performance of the BayesFlow framework under these misspecifications. We propose an augmented optimization objective which imposes a probabilistic structure on the latent data space and utilize maximum mean discrepancy (MMD) to detect potentially catastrophic misspecifications during inference undermining the validity of the obtained results. We verify our detection criterion on a number of artificial and realistic misspecifications, ranging from toy conjugate models to complex models of decision making and disease outbreak dynamics applied to real data. Further, we show that posterior inference errors increase as a function of the distance between the true data-generating distribution and the typical set of simulations in the latent summary space. Thus, we demonstrate the dual utility of MMD as a method for detecting model misspecification and as a proxy for verifying the faithfulness of amortized Bayesian inference.

研究の動機と目的

• 訓練時に使用されたシミュレータがテスト時の真のデータ生成過程と完全に一致しない、アンモタライズドベイジアン推論におけるモデル不適合という重要な課題に対処すること。
• 真の分布からのラベル付きデータを必要とせずに、テスト時にそのような不適合を検出できる手法を開発すること。
• 神経的後方分布近似器からの後方分布推定が、シミュレータまたは事前分布の不適合によって信頼できない状況であることを、信頼性のある非教師あり信号として提供すること。
• 不適合の深刻さを定量化することで、モデル設計者がシミュレーションモデルの欠陥を特定・是正できるようにすること。

提案手法

• この手法は、観測値を低次元の要約統計量空間にマップするニューラル要約ネットワークを用い、インライヤー・データ（訓練用シミュレータからのもの）の分布が事前に既知（例：単位ガウス分布）であると想定する。
• テスト時、観測データの要約統計量と既知のインライヤー分布との間の最大平均差分（MMD）を計算し、不適合スコアとして用いる。
• 真のデータやラベルを必要としないため、完全に非教師ありの不適合検出が可能である。
• 本手法は、事前分布およびシミュレータの不適合の両方（例：生成モデルにおけるノイズスケールや構造的誤差）に適用可能である。
• 本手法は、解析的トロイモデルおよび細胞生物学、認知的意思決定、感染症流行モデリングといった実世界の科学的課題に対しても評価されている。
• ブートストラップを用いて、既知のモデル設定下でのMMDのサンプリング分布を推定し、不適合の深刻さに関する統計的推論を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 シミュレータまたは事前分布におけるモデル不適合が、アンモタライズドSBIにおける神経的後方分布近似器の信頼性にどのように影響するか？
• RQ2 真のデータやラベルにアクセスできない状況でも、テスト時における非教師あり異常検出法が、モデル不適合を信頼性高く検出できるか？
• RQ3 要約統計量空間におけるMMDは、事前分布の不一致、シミュレータの構造的誤り、ノイズスケールの不一致といった、さまざまなタイプの不適合をどの程度検出できるか？
• RQ4 モデルが不適合である場合、本手法は古典的手法（例：MCMC）と比較してどの程度の性能を示すか？
• RQ5 不適合スコアは、モデル設計者がシミュレーションモデルの欠陥を特定・是正する手がかりとして有効に使えるか？

主な発見

• 提案手法であるMMDに基づく不適合検出器は、真のデータにアクセスできない状況でも、トロイモデルおよび実世界の科学的応用において、モデル不適合を信頼性高く同定できる。
• MMDスコアの顕著な上昇が観察されたことから、不適切な事前分布ハイパーパrameter（例：誤った事前分布）の不適合は、要約空間において高い感度で検出可能である。
• ノイズスケールの誤りや構造的欠陥（例：がんモデルにおける壊死）といったシミュレータの不適合も、要約空間におけるMMDの異常によって検出可能である。
• DDM（拡散意思決定モデル）の実験では、反応時間データに速いまたは遅い推測が混入するにつれてMMDスコアが上昇し、劣化が検出可能であることが示された。
• BayesFlowとMCMCの両方の後方分布推定が不適合条件下で乖離した場合に、本手法は正常にアラートを発動した。これは、信頼できない推論を同定するうえでの有効性を示している。
• ベースライン（適切に指定されたモデル）ではMMDスコアがゼロのままであったため、不適合がない状況における本手法の信頼性が確認された。