[論文レビュー] Averting A Crisis In Simulation-Based Inference

Joeri Hermans, Arnaud Delaunoy+3 more|arXiv (Cornell University)|Oct 13, 2021

Gaussian Processes and Bayesian Inference参考文献 50被引用数 10

ひとこと要約

この論文は、現在のベイジアンシミュレーションベースの推論アルゴリズム（SNPE、NRE、SNL、ABCの変種を含む）が、科学的パラメータの反証可能性を損なう過信の裏付けとなる後方分布の近似を生じさせることを特定している。研究者は保守的な推論手法の開発を提唱し、アンサンブル手法が一貫してより信頼性の高い結果をもたらすことを示しており、理論的に整合性のある強固なアルゴリズムへの研究の転換を促している。

ABSTRACT

We present extensive empirical evidence showing that current Bayesian simulation-based inference algorithms are inadequate for the falsificationist methodology of scientific inquiry. Our results collected through months of experimental computations show that all benchmarked algorithms -- (S)NPE, (S)NRE, SNL and variants of ABC -- may produce overconfident posterior approximations, which makes them demonstrably unreliable and dangerous if one's scientific goal is to constrain parameters of interest. We believe that failing to address this issue will lead to a well-founded trust crisis in simulation-based inference. For this reason, we argue that research efforts should now consider theoretical and methodological developments of conservative approximate inference algorithms and present research directions towards this objective. In this regard, we show empirical evidence that ensembles are consistently more reliable.

研究の動機と目的

• 反証主義的科学的探求の文脈において、現在のベイジアンシミュレーションベースの推論アルゴリズムの信頼性のなさを露呈すること。
• SNPE、NRE、SNL、ABCなどの現在の手法が、科学的解釈の誤りを招く過信の裏付けとなる後方分布の近似を生じさせることを示すこと。
• この問題に手をつけていない場合、シミュレーションベースの推論に対する信頼の揺らぎが必然的に生じることを主張すること。
• 理論的に根拠のある、保守的な近似推論アルゴリズムの研究を提唱し、研究手法の必要不可欠な転換を促すこと。
• アンサンブルベースの手法が後方分布の近似において一貫して信頼性を向上させることを実証的に検証すること。

提案手法

• SNPE、SNRE、SNL、ABCの変種を含む、複数のベンチマーク済みのシミュレーションベースの推論アルゴリズムに対する広範な実証的評価。
• 後方分布のキャリブレーションと過信の程度を裏付ける強固な証拠を得るため、数か月にわたる体系的な計算。
• モデルアンサンブルや多様性を活用した平均化により、後方分布の近似の信頼性を向上させるためのアンサンブル手法の使用。
• 反証主義的アプローチに基づく推論の信頼性を評価し、特にパラメータ制約の正確性に注目。
• 異なるアルゴリズム間での後方信用区間の比較を通じて、過信の有無を検出すること。
• 近似後方分布のキャリブレーションと信頼性を評価する統計的診断手法の適用。

実験結果

リサーチクエスチョン

• RQ1 現在のシミュレーションベースの推論アルゴリズムは、どの程度過信の裏付けとなる後方分布の近似を生じさせるのか？
• RQ2 SNPE、NRE、SNL、ABCなどの異なるアルゴリズムにおいて、後方分布の近似の信頼性はどのように変動するのか？
• RQ3 アンサンブル手法は、過信を緩和し、シミュレーションベースの推論における信頼性を向上させることができるか？
• RQ4 過信の裏付けとなる後方分布は、科学的探求における反証主義的アプローチにどのような影響を及えるのか？
• RQ5 信頼性のあるシミュレーションベースの推論を実現するためには、どのような理論的・手法論的転換が必要なのか？

主な発見

• SNPE、NRE、SNL、ABCの変種を含む、すべてのベンチマーク済みのシミュレーションベースの推論アルゴリズムが、科学的信頼性を損なう過信の裏付けとなる後方分布の近似を生じさせている。
• 過信の問題は広範かつ根本的であり、現在のシミュレーションベースの推論に対するアルゴリズム的アプローチに根本的な欠陥があることを示している。
• アンサンブル手法は、個々のモデルに比べて一貫して信頼性の高い後方分布の近似をもたらしており、より強固な推論への道筋を示している。
• 現在の標準的手法に依存する場合、科学的パラメータ推定において誤解のリスクが非常に高いことが示唆されている。
• 本論文は、現在のシミュレーションベースの推論の状態は、後方分布のキャリブレーションが不十分であるため、反証主義的科学的探求には不適切であると確立している。
• 過信の問題に手をつけていない限り、シミュレーションベースの推論に対する信頼の揺らぎは避けがたい。