[论文解读] Towards Reliable Simulation-Based Inference with Balanced Neural Ratio Estimation

Arnaud Delaunoy, Joeri Hermans+3 more|arXiv (Cornell University)|Aug 29, 2022

Machine Learning and Algorithms被引用 10

一句话总结

本文提出了一种神经比值估计（NRE）的变体——平衡神经比值估计（bnre），通过在二元分类器上施加平衡条件，使后验近似更加保守，尤其在低模拟预算情况下表现更优。bnre 在不增加计算开销的前提下提升了推断的可靠性，并随着模拟预算的增加收敛至精确后验。

ABSTRACT

Modern approaches for simulation-based inference rely upon deep learning surrogates to enable approximate inference with computer simulators. In practice, the estimated posteriors' computational faithfulness is, however, rarely guaranteed. For example, Hermans et al. (2021) show that current simulation-based inference algorithms can produce posteriors that are overconfident, hence risking false inferences. In this work, we introduce Balanced Neural Ratio Estimation (BNRE), a variation of the NRE algorithm designed to produce posterior approximations that tend to be more conservative, hence improving their reliability, while sharing the same Bayes optimal solution. We achieve this by enforcing a balancing condition that increases the quantified uncertainty in small simulation budget regimes while still converging to the exact posterior as the budget increases. We provide theoretical arguments showing that BNRE tends to produce posterior surrogates that are more conservative than NRE's. We evaluate BNRE on a wide variety of tasks and show that it produces conservative posterior surrogates on all tested benchmarks and simulation budgets. Finally, we emphasize that BNRE is straightforward to implement over NRE and does not introduce any computational overhead.

研究动机与目标

• 解决基于模拟推断中后验近似过度自信的问题，该问题可能导致错误的科学推断。
• 通过在分类器上施加平衡条件，提升用于基于模拟推断的深度学习代理模型的可靠性。
• 确保后验估计更加保守——尤其是在模拟预算较小时——同时不牺牲收敛至精确后验的能力。
• 提供一种低投入、计算高效的改进方法，以增强科学应用中的诊断可靠性。
• 将平衡条件的应用从二分类推广至基于模拟的推断，特别是在高风险科学领域中。

提出的方法

• 提出平衡神经比值估计（bnre），作为NRE算法的改进版本，通过在用于估计似然比与证据比的二元分类器上施加平衡条件。
• 引入正则化惩罚项以在分类器中强制实现类别平衡，从而在小模拟预算场景下增强不确定性量化。
• 平衡条件确保分类器的预测反映两类（模拟数据与参数样本）的期望概率相等，从而促进保守的后验估计。
• 该方法保持与NRE相同的贝叶斯最优解，保证随着模拟预算增加，可收敛至精确后验。
• 通过损失函数中的惩罚项实现平衡条件，训练过程中无需引入额外计算开销。
• 该方法可推广至其他推断框架（如神经后验估计NPE），通过利用分类器输出来实现平衡。

实验结果

研究问题

• RQ1 在NRE中对神经分类器施加平衡条件，是否能在低模拟预算场景下产生更保守的后验近似？
• RQ2 所提出的bnre方法是否在大预算极限下保持精确后验收敛性，同时在小预算设置下提升可靠性？
• RQ3 在多种基准测试中，bnre相较于标准NRE在多大程度上减少了后验估计的过度自信？
• RQ4 该平衡条件是否可有效应用于其他基于模拟的推断方法，如NPE或序列算法？
• RQ5 该方法实现的保守性提升是否未引入计算开销或损害训练效率？

主要发现

• bnre在所有测试基准和模拟预算水平下，始终产生比标准NRE更保守的后验近似。
• 该方法通过增强小预算场景下的不确定性量化，提升了后验可靠性，降低了过度自信推断的风险。
• 理论分析表明，即使代理模型不完全忠实，平衡条件也能使后验在期望上更加保守。
• bnre保持与NRE相同的贝叶斯最优解，确保随着模拟预算增加，可收敛至精确后验。
• 实证评估证实，bnre增强了诊断可靠性，尤其在错误排除合理参数值可能造成科学损害的场景中表现突出。
• 该方法计算高效，无额外开销，可作为NRE的即插即用替代方案轻松部署。