[论文解读] How biased is your model? Concentration Inequalities, Information and Model Bias

Konstantinos Gourgoulias, Markos A. Katsoulakis+2 more|arXiv (Cornell University)|Jun 30, 2017

Probabilistic and Robust Engineering Design参考文献 38被引用 9

一句话总结

本文提出了一种新颖且计算高效的框架，利用浓度不等式和信息论工具来界定统计估计量中的模型偏差。通过结合 Donsker-Varadhan 变分原理、矩生成函数和 Kullback-Leibler 散度，该方法在使用基准模型 P 而非真实模型 Q 时，推导出针对感兴趣量的紧致且可扩展的偏差边界，并提供适用于任意数据规模的显式置信带。

ABSTRACT

We derive tight and computable bounds on the bias of statistical estimators, or more generally of quantities of interest, when evaluated on a baseline model P rather than on the typically unknown true model Q. Our proposed method combines the scalable information inequality derived by P. Dupuis, K.Chowdhary, the authors and their collaborators together with classical concentration inequalities (such as Bennett's and Hoeffding-Azuma inequalities). Our bounds are expressed in terms of the Kullback-Leibler divergence R(Q||P) of model Q with respect to P and the moment generating function for the statistical estimator under P. Furthermore, concentration inequalities, i.e. bounds on moment generating functions, provide tight and computationally inexpensive model bias bounds for quantities of interest. Finally, they allow us to derive rigorous confidence bands for statistical estimators that account for model bias and are valid for an arbitrary amount of data.

研究动机与目标

• 解决由于模型误设或简化而带来的预测模型中模型偏差量化这一关键挑战。
• 开发在基准模型 P 而非真实模型 Q 上评估时，统计估计量偏差的计算上可行且紧致的边界。
• 将信息论方法与浓度不等式相结合，生成考虑模型偏差的严格置信带。
• 实现在高维模型、随机过程和复杂系统中的可扩展、非参数化不确定性量化。
• 提供一种框架，通过 KL 散度量化模型复杂度、计算成本与偏差容限之间的权衡。

提出的方法

• 该方法利用 Donsker-Varadhan 变分原理，将 KL 散度 R(Q||P) 表示为在基准模型 P 下感兴趣量的矩生成函数（MGF）上的变分优化。
• 将偏差边界表述为 R(Q||P) 和 P 下估计量 MGF 的函数，从而实现对模型偏差的紧致且可扩展的控制。
• 应用浓度不等式——特别是 Bennett 和 Hoeffding-Azuma 不等式——来界定 MGF，从而获得计算成本低廉且严格的偏差估计。
• 通过根据数据可用性交换 P 和 Q 的角色，使框架能够对 P 和 Q 实施非对称处理，提升灵活性与适用性。
• 证明了该边界是紧致且最优的，当 Q 属于 P 的 KL 邻域内某一特定 Q 时达到等式，该结果通过变分优化得出。
• 该方法可推导出对任意样本量均有效的估计量置信带，并明确考虑了模型偏差。

实验结果

研究问题

• RQ1 当使用基准模型 P 而非真实模型 Q 时，我们如何推导出统计估计量偏差的紧致、可计算的边界？
• RQ2 我们能否以高效方式量化高维数据、复杂模型或长时间随机过程中的模型偏差？
• RQ3 与经典不等式（如 Pinsker 或 Chapman-Robbins）相比，浓度不等式在多大程度上能提升模型偏差边界的紧致性和计算效率？
• RQ4 Kullback-Leibler 散度 R(Q||P) 与模型选择和推断中可实现的偏差容限之间有何关系？
• RQ5 我们能否构建出严格考虑模型偏差且在任意数据规模下均有效的估计量置信带？

主要发现

• 所提出的边界是紧致且最优的，如通过 Donsker-Varadhan 变分原理所证明，当 Q 属于 P 的 KL 散度邻域内某一特定 Q 时达到等式。
• 该方法通过结合 KL 散度与浓度不等式，实现了计算高效的边界，显著优于经典边界（如 Pinsker 边界）的松散性。
• 该框架可推导出对任意数据量均有效的统计估计量置信带，并显式考虑了模型偏差。
• 该边界具备可扩展性和区分能力，在高维场景（如马尔可夫随机场和随机过程的长时间动力学）中表现良好。
• 该方法允许根据数据可用性在 P 和 Q 之间交换角色，增强了实际应用中的灵活性。
• 该方法具有普适性，适用于广泛问题，包括分子动力学中的粗粒化、Gibbs-Markov 场的相图分析以及变分推断。