[论文解读] Detecting Model Misspecification in Amortized Bayesian Inference with Neural Networks

Marvin Schmitt, Paul‐Christian Bürkner+2 more|arXiv (Cornell University)|Dec 16, 2021

Gaussian Processes and Bayesian Inference被引用 12

一句话总结

本文提出了一种用于模拟推断（SBI）中基于神经网络的近似贝叶斯推断的无监督、测试时模型误设检测方法。通过在摘要统计量空间中利用最大均值差异（MMD）度量分布不匹配，该方法能够在未访问真实数据的情况下，可靠检测出真实数据生成过程与训练时使用的模拟器之间的偏差，从而提醒用户注意不可靠的后验估计。

ABSTRACT

Neural density estimators have proven remarkably powerful in performing efficient simulation-based Bayesian inference in various research domains. In particular, the BayesFlow framework uses a two-step approach to enable amortized parameter estimation in settings where the likelihood function is implicitly defined by a simulation program. But how faithful is such inference when simulations are poor representations of reality? In this paper, we conceptualize the types of model misspecification arising in simulation-based inference and systematically investigate the performance of the BayesFlow framework under these misspecifications. We propose an augmented optimization objective which imposes a probabilistic structure on the latent data space and utilize maximum mean discrepancy (MMD) to detect potentially catastrophic misspecifications during inference undermining the validity of the obtained results. We verify our detection criterion on a number of artificial and realistic misspecifications, ranging from toy conjugate models to complex models of decision making and disease outbreak dynamics applied to real data. Further, we show that posterior inference errors increase as a function of the distance between the true data-generating distribution and the typical set of simulations in the latent summary space. Thus, we demonstrate the dual utility of MMD as a method for detecting model misspecification and as a proxy for verifying the faithfulness of amortized Bayesian inference.

研究动机与目标

• 为解决近似贝叶斯推断中模型误设的关键挑战，即训练时使用的模拟器与测试时的真实数据生成过程不完全匹配的问题。
• 开发一种无需真实分布标签数据的测试时检测方法，以识别此类误设。
• 提供一种可靠的无监督信号，表明神经后验近似器生成的后验估计因模拟器或先验误设而不可靠。
• 通过量化误设的严重程度，指导模型设计者识别并修正模拟模型中的缺陷。

提出的方法

• 该方法使用神经摘要网络将观测值映射到低维摘要统计量空间，在该空间中，已知内点数据（来自训练模拟器）的分布（例如标准正态分布）被预先设定。
• 在测试阶段，模型计算观测数据摘要统计量与已知内点分布之间的最大均值差异（MMD），作为误设得分。
• MMD得分的计算无需真实数据或标签，从而实现完全无监督的模型误设检测。
• 该方法适用于先验和模拟器误设的检测，包括生成模型中的噪声尺度偏差和结构错误。
• 该方法在分析性小模型和真实世界科学任务（包括细胞生物学、认知决策建模和疾病暴发建模）上进行了评估。
• 通过自助法估计在已知模型配置下MMD的抽样分布，从而实现对误设严重程度的统计推断。

实验结果

研究问题

• RQ1 模拟器或先验中的模型误设在多大程度上影响近似SBI中神经后验近似器的可靠性？
• RQ2 一种无需真实数据或标签的测试时无监督异常检测方法能否可靠检测出模型误设？
• RQ3 MMD在摘要统计量空间中在多大程度上能够检测出不同类型误设，如先验对齐错误、模拟器结构错误或噪声尺度不匹配？
• RQ4 当模型存在误设时，该方法在性能上与经典推断方法（如MCMC）相比如何？
• RQ5 该误设得分能否指导模型设计者识别并修正模拟模型中的缺陷？

主要发现

• 所提出的基于MMD的误设检测器在小模型和真实世界科学应用中均能可靠识别模型误设，即使在无真实数据访问的情况下亦可。
• 该方法对先验误设（如错误的先验超参数）具有高敏感性，表现为摘要空间中MMD值显著上升。
• 模拟器误设（如错误的噪声尺度或结构缺陷，例如癌症模型中的坏死）也可通过摘要空间中的MMD异常被检测到。
• 在扩散决策模型（DDM）的实验中，当反应时间数据被快速或慢速猜测污染时，MMD得分随污染程度增加而上升，表明可检测到性能退化。
• 当贝叶斯流（BayesFlow）和MCMC在误设条件下产生分歧的后验估计时，该方法成功发出了警报，证明其在识别不可靠推断方面的实用性。
• 在基线（模型设定正确）情况下，MMD得分保持为零，证实了该方法在无误设情况下的可靠性。