[论文解读] A framework for probabilistic inferences from imperfect models

Meng Li, David B. Dunson|arXiv (Cornell University)|Nov 4, 2016

Gaussian Processes and Bayesian Inference参考文献 27被引用 3

一句话总结

本文引入了绝对模型概率（absolute model probabilities），这是一种通过使用Kullback-Leibler散度衡量其相对于非参数贝叶斯参考的性能，从而评估不完美统计模型的新框架。该框架生成的D-概率提供了一种稳健、对先验不敏感的传统后验模型概率的替代方法，自动惩罚模型复杂度，并在没有任何模型完全正确的情况下仍能实现可靠的模型比较。

ABSTRACT

The Bayesian paradigm provides a natural way to deal with uncertainty in model selection through assigning each model in a list of models under consideration a posterior probability. Unfortunately, this framework relies on the assumption that one of the models in the list is the true model. When this assumption is violated and all the models are imperfect, interpretation of posterior model probabilities is unclear. We propose a new concept of {\em absolute} model probabilities, which measure the quality of imperfect models. This concept leads to divergence-based estimates ({\em D-probabilities}) relying on evaluating parametric models relative to a nonparametric Bayesian reference using Kullback-Leibler divergence. While providing good-of-fit assessment, D-probabilities avoid some of the pitfalls of usual posterior model probabilities including large sensitivity to prior choice. In an application to linear model selection against a Gaussian process reference, we provide simple analytic forms for routine implementation and show that D-probabilities automatically penalize model complexity. Some asymptotic properties of this framework are described. Absolute model probabilities have several interesting probabilistic interpretations, and can potentially be applied in broad problems. The framework is illustrated through simulations and applications.

研究动机与目标

• 解决当所有模型都不完美时贝叶斯模型选择的局限性，挑战集合中存在一个正确模型的假设。
• 开发一个独立于模型真实性的模型质量评估框架，重点关注拟合优度与复杂度。
• 提供一种稳健的后验模型概率替代方法，避免对先验分布的极大敏感性。
• 在标准贝叶斯模型平均因模型设定错误而失效的情况下，实现实用的模型比较。

提出的方法

• 提出绝对模型概率作为衡量模型质量的指标，其定义基于非参数贝叶斯参考分布。
• 使用Kullback-Leibler散度量化参数模型与非参数参考之间的差异。
• 推导出基于散度的D-概率，反映模型对参考的拟合程度，散度越低表示质量越高。
• 将该框架应用于线性模型与高斯过程参考之间，推导出适用于常规使用的解析表达式。
• 通过散度度量自动惩罚模型复杂度，无需显式调整先验。
• 在正则条件下建立D-概率框架的渐近性质。

实验结果

研究问题

• RQ1 当集合中所有模型都不完美时，如何有意义地评估模型质量？
• RQ2 是否存在一种合理替代后验模型概率的方法，可避免对先验选择的敏感性？
• RQ3 基于散度的度量是否能自动惩罚模型复杂度，而无需依赖边际似然？
• RQ4 在模型设定错误下，D-概率的渐近行为如何？
• RQ5 绝对模型概率具有怎样的概率解释与实际意义？

主要发现

• D-概率提供了一种连贯、对先验不敏感的模型质量度量，在无任何模型为真时仍保持可解释性。
• 该框架通过Kullback-Leibler散度自动惩罚模型复杂度，无需额外正则化。
• 在直线模型与高斯过程参考的背景下，推导出D-概率的解析形式，便于直接实现。
• D-概率避免了后验模型概率的病态行为，如对先验分布的极端敏感性。
• 该框架表现出理想的渐近性质，在正则条件下支持一致的模型排序。
• 绝对模型概率为模型拟合提供了新的概率解释，将贝叶斯推断扩展至不依赖模型为真的假设。