[論文レビュー] Towards Reliable Simulation-Based Inference with Balanced Neural Ratio Estimation

Arnaud Delaunoy, Joeri Hermans+3 more|arXiv (Cornell University)|Aug 29, 2022

Machine Learning and Algorithms被引用数 10

ひとこと要約

この論文は、低シミュレーション予算の状況でもより保守的な事後分布近似を実現するため、バイナリ分類器にバランス条件を課すことで、Neural Ratio Estimation (NRE) の変種である Balanced Neural Ratio Estimation (bnre) を導入する。bnre は計算コストを増加させることなく推論の信頼性を向上させ、シミュレーション予算が増加するにつれて正確な事後分布に収束する。

ABSTRACT

Modern approaches for simulation-based inference rely upon deep learning surrogates to enable approximate inference with computer simulators. In practice, the estimated posteriors' computational faithfulness is, however, rarely guaranteed. For example, Hermans et al. (2021) show that current simulation-based inference algorithms can produce posteriors that are overconfident, hence risking false inferences. In this work, we introduce Balanced Neural Ratio Estimation (BNRE), a variation of the NRE algorithm designed to produce posterior approximations that tend to be more conservative, hence improving their reliability, while sharing the same Bayes optimal solution. We achieve this by enforcing a balancing condition that increases the quantified uncertainty in small simulation budget regimes while still converging to the exact posterior as the budget increases. We provide theoretical arguments showing that BNRE tends to produce posterior surrogates that are more conservative than NRE's. We evaluate BNRE on a wide variety of tasks and show that it produces conservative posterior surrogates on all tested benchmarks and simulation budgets. Finally, we emphasize that BNRE is straightforward to implement over NRE and does not introduce any computational overhead.

研究の動機と目的

• シミュレーションベース推論における過信した事後分布近似の問題に対処すること。これは誤った科学的結論を導く可能性がある。
• 分類器にバランス条件を課すことで、シミュレーションベース推論で使用されるディープラーニング代替モデルの信頼性を向上させること。
• 特にシミュレーション予算が小さい状況において、事後推定値をより保守的にするが、正確な事後分布への収束を損なわないようにすること。
• 最小限の努力で計算効率が良く、科学的応用における診断の信頼性を向上させる方法を提供すること。
• バランス条件を二値分類からシミュレーションベース推論へと一般化し、とりわけ高リスクの科学的分野への応用を拡張すること。

提案手法

• NREアルゴリズムの変種として、バイナリ分類器にバランス条件を課す Balanced Neural Ratio Estimation (bnre) を提案。この分類器は尤度対尤度比を推定するために使用される。
• 分類器におけるクラスバランスを強制する正則化ペナルティを導入し、特にシミュレーション予算が小さい状況での不確実性の評価を高める。
• バランス条件により、分類器の予測が両クラス（シミュレートされたデータ対パラメータサンプル）に対して等しい期待確率を反映するよう保証され、保守的な事後分布推定が促進される。
• この方法は、NREと同一のベイズ最適解を維持しており、シミュレーション予算が増加するにつれて正確な事後分布に収束することが保証される。
• バランス条件は損失関数にペナルティ項として適用され、追加の計算コストを増加させることなくトレーニング中に最適化される。
• 分類器の出力を活用することで、このアプローチはニューラル事後推定（NPE）などの他の推論フレームワークへも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 NREにおけるニューラル分類器にバランス条件を課すことで、低シミュレーション予算環境下でもより保守的な事後分布近似が得られるか？
• RQ2 提案されたbnre手法は、大予算限界において正確な事後分布への収束を維持しながら、小予算設定での信頼性を向上させるか？
• RQ3 多様なベンチマークにおいて、標準的なNREと比較してbnreが事後分布推定の過信をどの程度軽減するか？
• RQ4 バランス条件は、NPE や逐次的アルゴリズムなどの他のシミュレーションベース推論手法に対しても効果的に適用可能か？
• RQ5 保守性の向上は、計算コストの増加やトレーニング効率の低下を伴わずに達成されるか？

主な発見

• bnre は、全テストベンチマークおよびあらゆるシミュレーション予算水準において、標準的なNREよりも一貫してより保守的な事後分布近似を生成する。
• この手法は、低予算環境における不確実性の評価を高めることで、過信した推論のリスクを低減し、事後分布の信頼性を向上させる。
• 理論的分析により、代替モデルが完全に忠実でない場合でも、バランス条件が期待的により保守的な事後分布をもたらすことが示された。
• bnre は、NRE と同一のベイズ最適解を維持しており、シミュレーション予算が増加するにつれて正確な事後分布に収束することが保証される。
• 実験的評価により、bnre が診断の信頼性を向上させ、特に妥当なパラメータ値が誤って除外される可能性がある科学的状況において顕著な効果を示すことが確認された。
• この手法は計算効率が高く、追加コストを一切追加しないため、NRE の即時置換として容易に導入可能である。