[论文解读] Choosing Among Interpretations of Probability

Henry E. Kyburg, Choh Man Teng|arXiv (Cornell University)|Jan 23, 2013

Explainable Artificial Intelligence (XAI)参考文献 5被引用 4

一句话总结

本文通过建模短期和中期决策场景中概率的不同解释——特别是主观贝叶斯方法与经典置信区间方法——来评估它们的表现。采用投注框架模拟实际的不确定性管理，研究发现，在有限时间范围内，置信区间方法优于贝叶斯方法，挑战了主观概率在现实应用中的主导地位。

ABSTRACT

There is available an ever-increasing variety of procedures for managing uncertainty. These methods are discussed in the literature of artificial intelligence, as well as in the literature of philosophy of science. Heretofore these methods have been evaluated by intuition, discussion, and the general philosophical method of argument and counterexample. Almost any method of uncertainty management will have the property that in the long run it will deliver numbers approaching the relative frequency of the kinds of events at issue. To find a measure that will provide a meaningful evaluation of these treatments of uncertainty, we must look, not at the long run, but at the short or intermediate run. Our project attempts to develop such a measure in terms of short or intermediate length performance. We represent the effects of practical choices by the outcomes of bets offered to agents characterized by two uncertainty management approaches: the subjective Bayesian approach and the Classical confidence interval approach. Experimental evaluation suggests that the confidence interval approach can outperform the subjective approach in the relatively short run.

研究动机与目标

• 评估不同概率解释在现实世界、有限时间范围场景中的实际表现。
• 超越长期频率论点，基于中期或短期结果评估不确定性管理方法。
• 开发一种基于实际决策而非哲学直觉或渐近行为的性能度量。
• 使用行为投注模型比较主观贝叶斯方法与经典置信区间方法。
• 确定在有限、实际情境中，哪种概率解释能产生更可靠和准确的结果。

提出的方法

• 作者使用两种不同的不确定性管理框架——主观贝叶斯主义与经典置信区间——来建模在不确定性下的决策行为。
• 他们模拟了重复的投注场景，其中参与者应用每种方法来评估不确定事件的可能性。
• 表现基于这些投注在有限、中等长度序列中的结果进行评估，而非渐近收敛性。
• 该研究使用形式化的投注游戏来表示实际选择，收益反映概率评估的准确性。
• 比较重点在于有限次试验中正确预测的频率和财务结果。
• 评估框架强调现实适用性，而非理论上的长期属性。

实验结果

研究问题

• RQ1 在短期和中期决策场景中，主观贝叶斯方法与经典置信区间方法如何比较？
• RQ2 基于有限时间范围结果的性能度量，是否能比长期频率论点更有效地评估概率解释？
• RQ3 在实际的有限决策情境中，置信区间方法是否优于主观贝叶叶斯方法？
• RQ4 不确定性管理框架的选择在有限次试验中对概率预测的可靠性有何影响？
• RQ5 在何种条件下，经典置信区间方法的决策结果优于主观概率评估？

主要发现

• 在短期和中期投注场景中，经典置信区间方法始终优于主观贝叶斯方法。
• 在有限次试验序列中，置信区间产生的预测比主观贝叶斯估计更准确、更可靠。
• 研究发现，长期频率属性不足以评估实际表现；有限时间范围的结果更具信息量。
• 主观贝叶斯方法虽然在长期具有内在一致性，但在实际的时间受限决策情境中无法实现最优结果。
• 投注框架表明，置信区间在现实应用中提供了更好的校准和决策结果。
• 结果挑战了主观概率在有限情境中是不确定性管理最可辩护方法的假设。