[论文解读] Addressing Misspecification in Simulation-based Inference through Data-driven Calibration

Antoine Wehenkel, Juan L. Gamella+5 more|arXiv (Cornell University)|May 14, 2024

Simulation Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

本文提出稳健后验估计（ROPE），一种数据驱动的校准框架，通过使用少量真实世界校准数据，校正基于模拟的推断中的模型误设问题。通过将误设差距建模为模拟与真实观测表示之间的最优传输问题，ROPE 在多种合成与真实世界任务中均实现了校准良好且信息丰富的可信区间。

ABSTRACT

Driven by steady progress in deep generative modeling, simulation-based inference (SBI) has emerged as the workhorse for inferring the parameters of stochastic simulators. However, recent work has demonstrated that model misspecification can compromise the reliability of SBI, preventing its adoption in important applications where only misspecified simulators are available. This work introduces robust posterior estimation~(RoPE), a framework that overcomes model misspecification with a small real-world calibration set of ground-truth parameter measurements. We formalize the misspecification gap as the solution of an optimal transport~(OT) problem between learned representations of real-world and simulated observations, allowing RoPE to learn a model of the misspecification without placing additional assumptions on its nature. RoPE demonstrates how OT and a calibration set provide a controllable balance between calibrated uncertainty and informative inference, even under severely misspecified simulators. Results on four synthetic tasks and two real-world problems with ground-truth labels demonstrate that RoPE outperforms baselines and consistently returns informative and calibrated credible intervals.

研究动机与目标

• 解决基于模拟的推断（SBI）中的关键问题：模拟器无法准确反映真实世界的数据生成过程。
• 克服标准 SBI 方法在模型误设下不可靠的问题，特别是避免产生校准不当或信息不足的后验分布。
• 在仅已知良好设定的先验和少量真实世界参数-观测对数据的前提下，实现对最小真实世界校准数据的稳健后验估计。
• 在各种形式的模拟器误设下，平衡校准的不确定性与信息丰富的推断，确保统计可靠性，且无需对误设结构施加强假设。
• 提供一种实用且可扩展的框架，适用于高保真模拟器不完美但推断结果必须可信的真实世界科学与工程问题。

提出的方法

• 使用基于归一化流的神经后验估计（NPE）从模拟数据中学习代理后验，生成将观测嵌入潜在空间的表示映射 $\mathbf{h}_{\omega^\star}$。
• 将误设差距形式化为真实世界观测表示 $\{\mathbf{g}_{\varphi^\star}(\mathbf{x}_o^i)\}$ 与模拟观测表示 $\{\mathbf{h}_{\omega^\star}(\mathbf{x}_s^j)\}$ 之间的最优传输（OT）问题，利用校准集对齐二者。
• 通过基于 OT 的目标微调 NPE 表示映射 $\mathbf{h}_{\omega^\star}$，得到校准后的映射 $\mathbf{g}_{\varphi^\star}$，确保后验估计能反映真实世界数据分布。
• 在测试阶段，计算新观测 $\mathbf{x}_o$ 与模拟数据集之间的 OT 耦合 $P^\star$，并利用 $P^\star$ 将模拟后验的加权平均作为后验估计。
• 利用已知先验 $p(\theta)$ 和校准后的表示，生成既信息丰富又统计校准良好的后验分布。
• 使用可微分的 OT 求解器，实现校准头的端到端训练，确保方法在深度学习流水线中具备可扩展性和兼容性。

实验结果

研究问题

• RQ1 少量真实世界校准数据是否能显著提升在模拟器误设情况下的后验推断可靠性？
• RQ2 如何在 SBI 中定量建模并校正模拟与真实世界观测分布之间的差异？
• RQ3 ROPE 在多种误设模式下，能在多大程度上保持信息丰富的推断，同时确保统计校准？
• RQ4 最优传输公式是否提供了一种原则性且稳健的方法，用于对齐模拟与真实世界表示，而无需假设特定形式的误设？
• RQ5 在合成与真实世界基准测试中，ROPE 与现有 SBI 基线相比，在校准性和后验信息量方面表现如何？

主要发现

• 在四个合成任务和两个真实世界问题中，ROPE 均一致生成了校准良好的可信区间，且在统计校准方面优于所有基线方法。
• 在所有基准测试中，ROPE 在实现接近完美的校准（ACAUC 值始终高于 0.95）的同时，保持了高水平的后验信息量。
• 即使校准集小至 10 个样本，ROPE 也能实现可靠的不确定性量化，展现出强大的数据效率。
• ROPE 对真实世界数据中的分布偏移具有鲁棒性，在基线方法失效时仍能保持校准性与信息量。
• 基于最优传输的校准机制能有效捕捉模拟器与真实世界数据之间复杂的非线性差异，优于简单的重加权或重参数化方法。
• 实证结果表明，ROPE 的校准后验分布能比未经校准的 SBI 方法提供更准确的参数估计，尤其在显著的模拟器误设条件下表现更优。