[论文解读] An Empirical Comparison of Algorithms for Aggregating Expert Predictions

Varsha Dani, Omid Madani+3 more|arXiv (Cornell University)|Jun 27, 2012

Sports Analytics and Performance参考文献 15被引用 32

一句话总结

本文通过五年NFL比赛结果（1,319场比赛）的实证评估，检验了在线与离线自适应算法在聚合专家预测中的表现。结果表明，尽管简单平均表现良好，但一种建模每位专家预测方差的贝叶斯估计算法在二次损失方面始终优于平均法，表明考虑方差的加权方式能提升聚合准确性。

ABSTRACT

Predicting the outcomes of future events is a challenging problem for which a variety of solution methods have been explored and attempted. We present an empirical comparison of a variety of online and offline adaptive algorithms for aggregating experts' predictions of the outcomes of five years of US National Football League games (1319 games) using expert probability elicitations obtained from an Internet contest called ProbabilitySports. We find that it is difficult to improve over simple averaging of the predictions in terms of prediction accuracy, but that there is room for improvement in quadratic loss. Somewhat surprisingly, a Bayesian estimation algorithm which estimates the variance of each expert's prediction exhibits the most consistent superior performance over simple averaging among our collection of algorithms.

研究动机与目标

• 评估各种自适应算法在真实世界事件中聚合专家预测的表现。
• 确定复杂自适应算法是否能在预测NFL比赛结果方面超越简单平均法。
• 评估建模专家预测方差对聚合准确性的影响。
• 在真实世界不确定性与专家异质性条件下，识别最稳健且准确的聚合方法。

提出的方法

• 本研究使用ProbabilitySports在线竞赛中五年NFL比赛结果（1,319场比赛），专家提供了概率预测。
• 应用了一系列在线与离线自适应算法，包括加权平均、指数加权和贝叶斯估计，以聚合专家预测。
• 贝叶斯算法通过随时间估计每位专家预测误差的方差，并据此在聚合过程中动态调整权重。
• 使用二次损失（亦称Brier评分）评估性能，该指标衡量概率预测的准确性。
• 在多个指标上比较算法，重点关注其相对于简单平均法的一致性与改进程度。

实验结果

研究问题

• RQ1 自适应聚合算法是否能在真实世界体育预测中显著提升相对于简单平均法的预测准确性？
• RQ2 建模专家预测方差如何影响聚合算法的性能？
• RQ3 哪种聚合算法在不同专家预测集合中均表现出最一致的二次损失改进？
• RQ4 贝叶斯估计方法在鲁棒性与准确性方面是否优于其他自适应方法？

主要发现

• 专家预测的简单平均表现强劲，通常作为预测准确性的强大基线。
• 尽管基线表现良好，但二次损失仍存在可衡量的改进空间，表明更优的聚合方法可产生更准确的概率预测。
• 建模每位专家预测误差方差的贝叶斯估计算法，在二次损失方面始终优于简单平均法。
• 贝叶斯方法在不同评估指标和专家集合中均表现出最稳定且优越的性能。
• 结果表明，通过方差估计考虑专家可靠性，可获得比静态或启发式加权方案更准确、更可靠的聚合结果。