[論文レビュー] An Empirical Comparison of Algorithms for Aggregating Expert Predictions

Varsha Dani, Omid Madani+3 more|arXiv (Cornell University)|Jun 27, 2012

Sports Analytics and Performance参考文献 15被引用数 32

ひとこと要約

本論文は、ProbabilitySportsオンラインコンテストから得た5年間のNFLゲームの結果（1,319試合）を用いて、オンラインおよびオフラインの適応的アルゴリズムが専門家の予測を統合する方法を実証的に評価している。単純平均が良好な性能を示す一方で、各専門家の予測誤差の分散をモデル化するベイジアン推定アルゴリズムは、二重損失の観点から平均を常に上回ることを発見した。これは、分散を考慮した重み付けが統合の正確性を向上させることを示唆している。

ABSTRACT

Predicting the outcomes of future events is a challenging problem for which a variety of solution methods have been explored and attempted. We present an empirical comparison of a variety of online and offline adaptive algorithms for aggregating experts' predictions of the outcomes of five years of US National Football League games (1319 games) using expert probability elicitations obtained from an Internet contest called ProbabilitySports. We find that it is difficult to improve over simple averaging of the predictions in terms of prediction accuracy, but that there is room for improvement in quadratic loss. Somewhat surprisingly, a Bayesian estimation algorithm which estimates the variance of each expert's prediction exhibits the most consistent superior performance over simple averaging among our collection of algorithms.

研究の動機と目的

• 実世界の出来事におけるさまざまな適応的アルゴリズムの専門家予測統合性能を評価すること。
• 複雑な適応的アルゴリズムがNFLゲームの結果予測において単純平均を上回れるかどうかを特定すること。
• 専門家の予測分散をモデル化することが、統合の正確性に与える影響を評価すること。
• 現実世界の不確実性と専門家の多様性の下で、最も頑健で正確な統合手法を特定すること。

提案手法

• 研究は、専門家が確率的予測を提供したProbabilitySportsオンラインコンテストの1,319試合分のNFLゲーム結果を用いた。
• 重み付き平均、指数重み付け、ベイジアン推定を含む、オンラインおよびオフラインのさまざまな適応的アルゴリズムを用いて専門家予測を統合した。
• ベイジアンアルゴリズムは、各専門家の予測誤差の分散を時間経過とともに推定し、これを統合プロセスにおける重みの動的調整に用いた。
• 性能は、確率的予測の正確性を測る指標として、二重損失（Brierスコアとしても知られる）を用いて評価した。
• 複数の指標を用いてアルゴリズムを比較し、特に単純平均に対する一貫性と改善度に注目した。

実験結果

リサーチクエスチョン

• RQ1 適応的統合アルゴリズムは、実世界のスポーツ予測において、単純平均を著しく上回る予測正確性を達成できるか？
• RQ2 専門家の予測分散をモデル化することは、統合アルゴリズムの性能にどのように影響を与えるか？
• RQ3 どの統合アルゴリズムが、異なる専門家予測セットにおいて二重損失の観点で最も一貫した改善を示すか？
• RQ4 ベイジアン推定アプローチは、頑健性と正確性の観点から、他の適応的手法を上回るか？

主な発見

• 単純平均による専門家予測の統合は、優れた性能を示し、しばしば予測正確性の強力なベースラインとして機能する。
• 強力なベースラインにもかかわらず、二重損失の観点で改善の余地が明確にあり、より優れた統合手法がより正確な確率的予測をもたらす可能性を示している。
• 各専門家の予測誤差の分散をモデル化するベイジアン推定アルゴリズムは、二重損失の観点から単純平均を一貫して上回る。
• ベイジアン手法は、さまざまな評価指標および専門家セットにおいて、最も安定的かつ優れた性能を示した。
• 専門家の信頼性を分散推定によって反映させることで、静的またはヒューリスティックな重み付け方式よりも、より正確で信頼性の高い統合が達成できることが示唆された。