[论文解读] Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization

Lorenzo Pacchiardi, Ritabrata Dutta|arXiv (Cornell University)|May 31, 2022

Model Reduction and Neural Networks被引用 5

一句话总结

本文通过最小化评分规则，提出了一种无需判别器的生成神经网络训练方法，用于似然-free贝叶斯推断，为对抗训练提供了一种稳定、无对抗性的替代方案。该方法在图像重建等高维设置（如带噪声相机模型）中，实现了更优的不确定性量化和更快的收敛速度。

ABSTRACT

Bayesian Likelihood-Free Inference methods yield posterior approximations for simulator models with intractable likelihood. Recently, many works trained neural networks to approximate either the intractable likelihood or the posterior directly. Most proposals use normalizing flows, namely neural networks parametrizing invertible maps used to transform samples from an underlying base measure; the probability density of the transformed samples is then accessible and the normalizing flow can be trained via maximum likelihood on simulated parameter-observation pairs. A recent work [Ramesh et al., 2022] approximated instead the posterior with generative networks, which drop the invertibility requirement and are thus a more flexible class of distributions scaling to high-dimensional and structured data. However, generative networks only allow sampling from the parametrized distribution; for this reason, Ramesh et al. [2022] follows the common solution of adversarial training, where the generative network plays a min-max game against a "critic" network. This procedure is unstable and can lead to a learned distribution underestimating the uncertainty - in extreme cases collapsing to a single point. Here, we propose to approximate the posterior with generative networks trained by Scoring Rule minimization, an overlooked adversarial-free method enabling smooth training and better uncertainty quantification. In simulation studies, the Scoring Rule approach yields better performances with shorter training time with respect to the adversarial framework.

研究动机与目标

• 解决生成神经网络在似然-free推断中对抗训练的不稳定性与不确定性量化不佳的问题。
• 探索一种避免生成对抗网络中常见极小极大博弈与模式崩溃的替代训练范式。
• 评估评分规则最小化在基于模拟器的贝叶斯推断中是否能获得优于对抗训练的后验近似。
• 在高维、结构化数据（如图像）上展示改进的性能与训练效率。

提出的方法

• 使用评分规则最小化而非对抗训练，训练生成神经网络以近似后验分布。
• 采用合适的评分规则——特别是能量评分（Energy Score）和核评分（Kernel Score）——作为评估预测分布质量的目标函数。
• 通过最小化模拟参数-观测对的期望评分规则值，优化生成网络参数。
• 应用基于图像块的评分规则（例如，块大小8，步长5），以高效处理图像等高维数据。
• 避免使用判别器网络，从而无需求解极小极大优化问题。
• 在评分规则目标函数上使用随机梯度下降，端到端训练生成模型。

实验结果

研究问题

• RQ1 评分规则最小化能否为似然-free推断中的后验近似提供比对抗训练更稳定、更可靠的替代方案？
• RQ2 与基于GAN的方法相比，评分规则训练是否能带来更好的不确定性量化？
• RQ3 在高维数据上，评分规则训练与对抗训练在收敛速度和最终准确率方面的表现如何比较？
• RQ4 评分规则最小化能否有效处理基于模拟器推断中的结构化高维数据（如图像）？

主要发现

• 评分规则方法的RMSE显著更低（0.06–0.07），而GAN方法为0.25，表明后验均值估计更优。
• 评分规则方法的校准误差更低（0.36 vs. 0.50），表明不确定性量化更可靠。
• 评分规则训练的运行时间不到GAN的一半（22,545–22,633秒 vs. 45,398秒），且停止训练的轮次更早。
• 评分规则方法生成的后验标准差图在图像边界附近更具有空间一致性，且偏差更小，优于GAN输出。
• 尽管由于像素值有界导致R²值较低，但评分规则方法在各项指标和配置下表现更一致。
• 使用块大小8、步长5的核评分与能量评分取得了最佳结果，在准确性和稳定性方面均优于其他配置。