[论文解读] A Unified Treatment of Predictive Model Comparison

Michael Betancourt|arXiv (Cornell University)|Jun 7, 2015

Advanced Statistical Modeling Techniques参考文献 2被引用 4

一句话总结

本文提出了一种统一的预测模型比较框架，通过基于预测分布与真实数据生成过程之间的Kullback-Leibler散度，推导出相对预测性能的规范度量。结果表明，广泛使用的各种技术——如交叉验证、信息准则（WAIC、DIC）以及后验预测检查——均可视为该基础评分的近似，从而为评估其优势、局限性及实际权衡提供了统一的理论基础。

ABSTRACT

The predictive performance of any inferential model is critical to its practical success, but quantifying predictive performance is a subtle statistical problem. In this paper I show how the natural structure of any inferential problem defines a canonical measure of relative predictive performance and then demonstrate how approximations of this measure yield many of the model comparison techniques popular in statistics and machine learning.

研究动机与目标

• 建立一个独立于特定建模假设的、理论基础坚实的相对预测性能规范度量。
• 证明统计与机器学习中广泛使用的模型比较技术如何作为该规范度量的近似出现。
• 阐明这些近似中固有的假设、偏差和不确定性，以促进更负责任的模型选择。
• 在单一理论基础下统一多种方法，如交叉验证、WAIC、DIC和后验预测检查。
• 强调所有模型比较方法均为具有不确定方差和偏差的估计，挑战‘确定性模型选择’的观念。

提出的方法

• 利用推断的预测分布与真实潜在数据生成过程之间的Kullback-Leibler散度，推导出规范的相对预测性能评分。
• 将小世界定义为表示候选模型的概率测度子集，承认其可能不包含真实数据生成过程（遵循Box的哲学）。
• 运用测度论基础，统一推导频率学派与贝叶斯推断的预测分布，从而构建相对性能评分。
• 使用重用、留出和刀切法估计器来近似规范评分，将其与实际方法如交叉验证和后验预测检查相联系。
• 证明信息准则如WAIC和DIC可作为后验预测相对预测性能评分的特定近似。
• 通过在多个数据集上的集合模拟，评估这些近似相对于真实规范评分的准确性和精确性。

实验结果

研究问题

• RQ1 如何为任意推断模型定义单一的、规范的相对预测性能度量？
• RQ2 广泛使用的模型比较技术（如交叉验证和信息准则）的理论基础是什么？
• RQ3 现有方法中的假设与近似如何影响其在评估预测性能时的准确性和可靠性？
• RQ4 频率学派与贝叶斯推断框架如何分别产生不同但相关的预测性能评分？
• RQ5 如何定量理解并传达模型比较近似中的偏差与方差？

主要发现

• 规范的相对预测性能评分为预测分布与真实数据生成过程之间的Kullback-Leibler散度，理论上最优但实践中不可计算。
• 所有常见模型比较技术——包括交叉验证、WAIC、DIC和后验预测检查——均可解释为该规范评分的近似。
• 如留出法和刀切法等近似方法可导出预测交叉验证等方法，在不同模型拟合不足与过拟合情景下表现一致。
• WAIC被证明是后验预测相对预测性能评分的近似，具有涉及对数似然期望与方差的特定解析形式。
• DIC被推导为当使用点估计时WAIC的特例，凸显其对从小世界中选择单一模型的依赖性。
• 在数据集集合上的实证评估表明，近似误差可量化，且不同近似方法（如重用、留出）在估计器误差分位数（20%、50%、80%）上的表现相当。