[論文レビュー] Investigating the Impact of Model Misspecification in Neural Simulation-based Inference

Patrick Cannon, Daniel L. Ward+1 more|arXiv (Cornell University)|Sep 5, 2022

Machine Learning and Algorithms被引用数 11

ひとこと要約

本論文は、モデル不適合下におけるニューラルシミュレーションベース推論（SBI）手法の性能を調査し、NRE、NPE、NLEのいずれの手法に対しても、わずかなデータ摂動が重度の事後分布の不適合を引き起こすことを明らかにした。アンサンブル事後分布やシャープネスに配慮した最適化（SAM）といった緩和戦略の検証を行ったが、どの手法に対しても完全な耐性回復が達成されず、実世界の応用における信頼性ある推論を確保するための新たなアプローチの必要性が浮き彫りになった。

ABSTRACT

Aided by advances in neural density estimation, considerable progress has been made in recent years towards a suite of simulation-based inference (SBI) methods capable of performing flexible, black-box, approximate Bayesian inference for stochastic simulation models. While it has been demonstrated that neural SBI methods can provide accurate posterior approximations, the simulation studies establishing these results have considered only well-specified problems -- that is, where the model and the data generating process coincide exactly. However, the behaviour of such algorithms in the case of model misspecification has received little attention. In this work, we provide the first comprehensive study of the behaviour of neural SBI algorithms in the presence of various forms of model misspecification. We find that misspecification can have a profoundly deleterious effect on performance. Some mitigation strategies are explored, but no approach tested prevents failure in all cases. We conclude that new approaches are required to address model misspecification if neural SBI algorithms are to be relied upon to derive accurate scientific conclusions.

研究の動機と目的

• 実世界の応用で一般的だが、未だ十分に研究されていないモデル不適合下における最先端のニューラルSBI手法の耐性を評価すること。
• アンサンブル事後分布やシャープネスに配慮した最適化（SAM）といった既存の緩和戦略が、モデル不適合下でも信頼できる事後分布近似を回復できるかどうかを同定すること。
• NRE、NPE、NLEおよびABCを、複数の不適合シミュレーションタスクにおいてベンチマーク化し、一般化能と失敗モードを評価すること。
• モデル不適合が、系統的な事後分布の過信と低 Coverage を引き起こし、高リスクの科学的推論におけるニューラルSBIの信頼性を損なうことを示すこと。
• 実務でよく見られるモデルとデータの不一致に耐えうる、ニューラルSBIの耐性を保証する新たな手法開発の必要性を提起すること。

提案手法

• モデル不適合度を段階的に高めた状況下で、3つのシミュレーションタスク（TG-SS、SLCP、SV-SS）に対して、ニューラルSBI手法（NRE、NPE、NLE）およびABCの包括的ベンチマークを実施した。
• ボラティリティショックや加法的ガウスノイズなどの制御されたデータ変換を導入し、真のデータ生成プロセスと構造的類似性を保ちつつモデル不適合を模擬した。
• sbibmライブラリのMCMCサンプラーから得たリファレンス事後分布を用いて、すべての手法および不適合度レベルにおける事後分布のキャリブレーションとカバレッジを評価した。
• 複数の訓練済み事後ネットワークを組み合わせることでアンサンブル事後分布を構築し、分布シフトに対する耐性を向上させた。
• 特に不適合下での一般化性能を向上させるために、トレーニング段階でシャープネスに配慮した最適化（SAM）を採用した。
• カバレッジ指標（例：真のパラメータが信用区間内に入る割合）および事後分散を用いて、過信と不適合の度合を評価した。

実験結果

リサーチクエスチョン

• RQ1 モデル不適合によりシミュレータとデータ生成プロセスが不一致となった場合、ニューラルSBI手法（NRE、NPE、NLE）はどのように性能を示すか？
• RQ2 アンサンブル事後分布やシャープネスに配慮した最適化（SAM）は、モデル不適合下でのニューラルSBIの耐性をどの程度向上できるか？
• RQ3 近似ベイズ推論（ABC）は、ニューラルSBI手法と比較して、モデル不適合下でも信頼性を保てるか？
• RQ4 ニューラルSBI手法の失敗は、異なるタスクやモデルタイプにわたって系統的であるのか、それとも手法特有のものなのか？
• RQ5 データがノイズを含む、あるいはモデル仮定が破られる状況下でも、現在のニューラルSBI技術は高リスクの科学的推論に信頼できるか？

主な発見

• ニューラルSBI手法（NRE、NPE、NLE）は、モデル不適合下で深刻な事後分布の不適合を示し、不適合度が高まるにつれて過信が増し、カバレッジが著しく低下する。
• わずかなデータ摂動（例：確率的ボラティリティモデルにおける10％のボラティリティショック）ですら、真の事後分布質量をカバーできない事後分布推定を引き起こし、系統的失敗を示している。
• ABCはモデル不適合に対して優れた耐性を示し、高いモデル差異に対してもわずかに過信した事後分布を生成するにとどまる。
• アンサンブル事後分布は、特に耐性トレーニングと組み合わせることで不適合の緩和に部分的に寄与するが、すべてのタスクで完全なカバレッジ回復を達成しない。
• シャープネスに配慮した最適化（SAM）はNREおよびNLEの性能を向上させるが、NPEには効果がなく、手法間での一般化性に限界があることを示している。
• テスト済みのあらゆる緩和戦略も、モデル不適合下での失敗を完全に防げないため、ニューラルSBIにおける新たな耐性推論フレームワークの開発が急務である。