[论文解读] Bayesian Prediction for Artificial Intelligence

Matthew W. Self, Peter Cheeseman|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference参考文献 7被引用 3

一句话总结

本文主张在人工智能的贝叶斯预测中，应采用模型平均（归纳推理）而非选择单一最优模型（归纳推理），尤其是在小样本数据情况下。本文证明，归纳推理可避免误导性预测，并为常见模型类别提供闭式最优解。

ABSTRACT

This paper shows that the common method used for making predictions under uncertainty in A1 and science is in error. This method is to use currently available data to select the best model from a given class of models-this process is called abduction-and then to use this model to make predictions about future data. The correct method requires averaging over all the models to make a prediction-we call this method transduction. Using transduction, an AI system will not give misleading results when basing predictions on small amounts of data, when no model is clearly best. For common classes of models we show that the optimal solution can be given in closed form.

研究动机与目标

• 识别标准人工智能预测方法中依赖从模型类中选择单一最优模型的根本缺陷。
• 解决在无明显最优模型的小样本数据集中，模型选择导致误导性预测的问题。
• 提出归纳推理——对所有模型的预测进行平均——作为正确的贝叶斯方法。
• 推导在归纳推理框架下，常见模型类别中的最优预测的闭式解。
• 为不确定预测任务中模型归纳推理提供理论坚实且实用的替代方案。

提出的方法

• 以归纳推理（对所有模型的预测进行平均）替代模型归纳推理（选择最优模型）。
• 应用贝叶斯推断，计算给定模型类中所有模型的后验概率。
• 通过基于后验概率加权的模型平均，计算预测分布，实现对所有模型的积分。
• 为指数族等常见模型类别推导出预测的闭式解。
• 将预测表述为对模型空间的边缘化，确保对模型不确定性的鲁棒性。
• 证明归纳推理可避免在支持不足的模型上产生过度自信，尤其在数据有限时。

实验结果

研究问题

• RQ1 为何在小样本数据环境下，模型选择（归纳推理）会导致误导性预测？
• RQ2 当无单一模型明显最优时，如何使贝叶斯预测具有鲁棒性？
• RQ3 在模型不确定性下，贝叶斯预测的理论正确方法是什么？
• RQ4 能否为常见模型类别中的最优预测推导出闭式解？
• RQ5 在预测准确性和可靠性方面，归纳推理与模型选择相比如何？

主要发现

• 在不确定性下进行预测时，模型选择（归纳推理）本质上存在缺陷，尤其在小样本数据中。
• 对所有模型进行平均的归纳推理，相比选择单一最优模型，能产生更可靠、更鲁棒的预测。
• 对于指数族等常见模型类别，归纳推理下的最优预测可计算出闭式解。
• 归纳推理可防止对支持不足模型的过度自信，降低误导性预测的风险。
• 该方法通过在预测中充分考虑模型不确定性，确保与贝叶斯原则的一致性。
• 该方法已通过形式化验证，并被确立为人工智能预测任务中模型归纳推理的正确替代方案。