[論文レビュー] Sensitivity-Aware Amortized Bayesian Inference

Lasse Elsemüller, Hans Olischläger+4 more|arXiv (Cornell University)|Oct 17, 2023

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

本稿では、共有されたディープアンサンブルに複数の尤度、事前分布、データ構成をコンテキスト変数としてエンコードすることで、ニューラルネットワークベースのベイズ推論に感度分析を効率的に統合する、感度認識型アンモタイズドベイズ推論（SA-ABI）を提案する。これにより、再適合が不要な状態で、モデルの構造的選択やデータ摂動に対する感度を迅速かつ低コストで評価可能であり、実世界の応用において10万件以上の構成に対してスケーラビリティを示している。

ABSTRACT

Sensitivity analyses reveal the influence of various modeling choices on the outcomes of statistical analyses. While theoretically appealing, they are overwhelmingly inefficient for complex Bayesian models. In this work, we propose sensitivity-aware amortized Bayesian inference (SA-ABI), a multifaceted approach to efficiently integrate sensitivity analyses into simulation-based inference with neural networks. First, we utilize weight sharing to encode the structural similarities between alternative likelihood and prior specifications in the training process with minimal computational overhead. Second, we leverage the rapid inference of neural networks to assess sensitivity to data perturbations and preprocessing steps. In contrast to most other Bayesian approaches, both steps circumvent the costly bottleneck of refitting the model for each choice of likelihood, prior, or data set. Finally, we propose to use deep ensembles to detect sensitivity arising from unreliable approximation (e.g., due to model misspecification). We demonstrate the effectiveness of our method in applied modeling problems, ranging from disease outbreak dynamics and global warming thresholds to human decision-making. Our results support sensitivity-aware inference as a default choice for amortized Bayesian workflows, automatically providing modelers with insights into otherwise hidden dimensions.

研究の動機と目的

• 複雑なベイズモデルにおける古典的感度分析の非効率性を解消し、各モデルバージョンに対して高コストな再適合を要しないようにすること。
• アンモタイズドベイズ推論における尤度、事前分布、データ前処理への感度を評価する際の計算ボトルネックを克服すること。
• 最小限の計算オーバーヘッドで、既存の感度分析手法をニューラルネットワークベースの推論ワークフローに統合すること。
• 1つの訓練済みモデルを用いて、構造的およびデータ関連の摂動に対するモデルの頑健性をリアルタイムで評価すること。
• 統一された推論フレームワーク内でディープアンサンブルの不確実性推定を用いて、モデルの誤指定や近似不確実性を検出すること。

提案手法

• 重み共有を用いて、1つのニューラルネットワークアーキテクチャに複数の尤度および事前分布仕様をコンテキスト変数としてエンコードする。
• 各メンバーが異なるモデル構成に条件付けられた事後分布を推論するディープアンサンブルを訓練する。
• 代替の尤度、事前分布、またはデータ摂動を表すコンテキストベクトルに条件付けられた事後推論を実施し、再トレーニングなしに高速な予測を可能にする。
• アンサンブルメンバー間の予測分散を用いて、近似感度や潜在的なモデルの誤指定を検出する。
• ニューラルネットワーク推論の高速性を活用し、数千のモデル構成に対して大規模な感度分析を実施し、ほぼ即時の評価を可能にする。
• Sobol'インデックスやデータ摂動研究といった、既存の感度分析手法をコンテキスト条件付き推論フレームワーク内に適用する。

Figure 1: Our proposed approach for sensitivity-aware amortized Bayesian inference (SA-ABI). During training, multiple likelihood , prior , and data configurations are encoded as contexts in a deep ensemble of neural approximators. During inference, our sensitivity-aware method casts model refits as

実験結果

リサーチクエスチョン

• RQ1 各構成に対して再適合を要せず、アンモタイズドベイズ推論に感度分析を効率的に統合できるか。
• RQ2 ニューラルネットワークを用いて、尤度や事前分布といった構造的モデル選択の影響を、体系的に事後分布推論に与える影響を評価できるか。
• RQ3 ディープアンサンブルの不確実性が、アンモタイズド推論における近似誤差やモデルの誤指定をどの程度効果的に検出できるか。
• RQ4 1つのニューラルネットワーク推論パスを用いて、データ摂動感度を迅速かつ大規模に評価できるか。
• RQ5 本手法は、実世界の科学的応用において、高次元のモデル構成空間にどの程度スケーリング可能か。

主な発見

• SA-ABIは、再適合のコストをほとんどかけずに10万件以上のモデル構成に対して感度分析を実施でき、実世界の応用におけるスケーラビリティを示している。
• 多様な尤度および事前分布仕様をエンコードしても、事後分布近似品質の損失が最小限でありながら、正確な感度推定が達成されている。
• ディープアンサンブルの分散は、信頼性の低い事後分布近似を効果的に特定し、モデルの誤指定や近似誤差の代理指標として機能する。
• コンテキスト条件付き推論により、再トレーニングなしにデータ摂動の影響を迅速に評価でき、ほぼ即時の感度チェックが可能である。
• 本手法は、感染症の流行ダイナミクスや気候変動の閾値推定といった複雑な科学的モデルにおける感度を効果的に検出できた。
• 感度分析をデフォルトの構成要素として統合することで、従来は検出されなかったベイズワークフロー内の隠れた不確実性を明らかにした。

(a) Bivariate posteriors.