[论文解读] Models and Selection Criteria for Regression and Classification

David Heckerman, Christopher Meek|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 12被引用 58

一句话总结

本文提出了一类贝叶斯回归/分类（BRC）模型，其结构可分解为独立的条件分布（y|x）和输入分布（x），从而实现对预测模型的聚焦分析。文章批判了将任意贝叶斯模型转换为BRC形式的做法，认为这会丢弃关键的先验知识，并评估了两种贝叶斯模型选择准则——Spiegelhalter等人（1993）与Buntine（1993）——表明在特定条件下二者一致，对回归与分类任务中的可靠模型选择具有启示意义。

ABSTRACT

When performing regression or classification, we are interested in the conditional probability distribution for an outcome or class variable Y given a set of explanatoryor input variables X. We consider Bayesian models for this task. In particular, we examine a special class of models, which we call Bayesian regression/classification (BRC) models, that can be factored into independent conditional (y|x) and input (x) models. These models are convenient, because the conditional model (the portion of the full model that we care about) can be analyzed by itself. We examine the practice of transforming arbitrary Bayesian models to BRC models, and argue that this practice is often inappropriate because it ignores prior knowledge that may be important for learning. In addition, we examine Bayesian methods for learning models from data. We discuss two criteria for Bayesian model selection that are appropriate for repression/classification: one described by Spiegelhalter et al. (1993), and another by Buntine (1993). We contrast these two criteria using the prequential framework of Dawid (1984), and give sufficient conditions under which the criteria agree.

研究动机与目标

• 考察将一般贝叶斯模型转换为贝叶斯回归/分类（BRC）模型的理论与实际影响。
• 评估在存在先验知识且可能具有信息量时，此类转换是否恰当。
• 比较两种贝叶斯模型选择准则——Spiegelhalter等人（1993）与Buntine（1993）——在回归与分类任务中的表现。
• 识别两种选择准则达成一致的充分条件，以确保模型评估的一致性。
• 为使用贝叶斯方法选择适合回归与分类任务的模型提供建议。

提出的方法

• 提出一类称为BRC模型的贝叶斯模型，其结构可分解为独立的条件分布（y|x）和输入分布（x）。
• 将条件模型（y|x）与输入模型（x）分别分析，从而实现对目标结果的聚焦学习与推断。
• 批判将任意贝叶斯模型转换为BRC形式的常见做法，认为这可能丢弃对准确学习至关重要的先验知识。
• 应用Dawid（1984）提出的预序框架，比较两种贝叶斯模型选择准则：一种基于后验预测密度（Spiegelhalter等人，1993），另一种基于边际似然（Buntine，1993）。
• 推导出两种准则产生相同模型排序的充分条件，从而确保模型选择的稳健性。
• 通过理论分析证明，两种准则在序列预测设置下达成一致的条件。

实验结果

研究问题

• RQ1 将任意贝叶斯模型转换为BRC形式是否在回归与分类任务中是合理且有益的做法？
• RQ2 在BRC模型中，先验知识的包含或排除如何影响模型学习与性能？
• RQ3 Spiegelhalter等人（1993）与Buntine（1993）的贝叶斯模型选择准则在何种条件下产生相同的模型排序？
• RQ4 Dawid（1984）的预序框架如何实现对序列预测任务中模型选择准则的公平比较？
• RQ5 在回归与分类任务中，何种理论条件可确保不同贝叶斯模型选择方法之间的一致性？

主要发现

• 将任意贝叶斯模型转换为BRC形式通常不恰当，因为这会丢弃可能对准确学习至关重要的先验知识。
• 两种贝叶斯模型选择准则——Spiegelhalter等人（1993）与Buntine（1993）——在特定充分条件下一致，尤其当模型设定正确且数据可交换时。
• 预序框架为比较模型选择准则提供了可靠基础，通过随时间评估预测性能实现。
• 在BRC模型中，条件模型（y|x）可独立分析，从而简化推断与模型开发。
• 在模型构建中使用先验知识至关重要，即使采用BRC结构也不应被忽视。
• 在模型一致性与先验规范设定的条件下，可建立两种准则之间的理论一致性。