[논문 리뷰] An Empirical Comparison of Algorithms for Aggregating Expert Predictions

Varsha Dani, Omid Madani외 3명|arXiv (Cornell University)|2012. 06. 27.

Sports Analytics and Performance참고 문헌 15인용 수 32

한 줄 요약

이 논문은 ProbabilitySports 온라인 대회에서 5년간의 NFL 경기 결과(1,319경기)를 바탕으로 온라인 및 오프라인 적응형 알고리즘을 사용해 전문가 예측을 집계하는 데 대해 실증적으로 평가한다. 간단한 평균화가 잘 작동하는 것으로 나타났지만, 각 전문가의 예측 분산을 모델링하는 베이지안 추정 알고리즘이 이차 손실 측면에서 평균화를 일관되게 뛰어넘는 것으로 나타나, 분산을 고려한 가중치 조정이 집계 정확도를 향상시킨다.

ABSTRACT

Predicting the outcomes of future events is a challenging problem for which a variety of solution methods have been explored and attempted. We present an empirical comparison of a variety of online and offline adaptive algorithms for aggregating experts' predictions of the outcomes of five years of US National Football League games (1319 games) using expert probability elicitations obtained from an Internet contest called ProbabilitySports. We find that it is difficult to improve over simple averaging of the predictions in terms of prediction accuracy, but that there is room for improvement in quadratic loss. Somewhat surprisingly, a Bayesian estimation algorithm which estimates the variance of each expert's prediction exhibits the most consistent superior performance over simple averaging among our collection of algorithms.

연구 동기 및 목표

• 실세계 사건에 대한 다양한 적응형 알고리즘의 전문가 예측 집계 성능을 평가하기 위해.
• 복잡한 적응형 알고리즘이 NFL 경기 결과 예측에서 단순 평균화를 능가할 수 있는지 확인하기 위해.
• 전문가 예측 분산을 모델링하는 것이 집계 정확도에 어떤 영향을 미치는지 평가하기 위해.
• 실세계의 불확실성과 전문가 간 이질성 하에서 가장 강력하고 정확한 집계 방법을 특정하기 위해.

제안 방법

• 연구는 ProbabilitySports 온라인 대회에서 제공한 1,319건의 NFL 경기 결과를 사용하며, 전문가들이 확률적 예측을 제공했다.
• 가중 평균, 지수 가중, 베이지안 추정 등 다양한 온라인 및 오프라인 적응형 알고리즘을 적용해 전문가 예측을 집계했다.
• 베이지안 알고리즘은 시간에 따라 각 전문가의 예측 오차 분산을 추정하고, 이를 바탕으로 집계 과정에서 가중치를 동적으로 조정한다.
• 성능 평가는 이차 손실(또는 브리어 스코어로도 알려진)을 사용하여 확률적 예측의 정확도를 측정한다.
• 다양한 지표를 바탕으로 알고리즘을 비교하였으며, 특히 단순 평균화 대비 일관성과 향상 정도에 중점을 두었다.

실험 결과

연구 질문

• RQ1 적응형 집계 알고리즘이 실세계 스포츠 예측에서 단순 평균화보다 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 전문가 예측 분산을 모델링하면 집계 알고리즘의 성능에 어떤 영향을 미치는가?
• RQ3 다양한 전문가 예측 세트에서 이차 손실 측면에서 가장 일관된 향상을 보이는 집계 알고리즘은 무엇인가?
• RQ4 베이지안 추정 방법이 타 적응형 방법 대비 안정성과 정확도 측면에서 뛰어나지 않는가?

주요 결과

• 단순한 전문가 예측 평균화가 매우 우수하게 작동하여 종종 예측 정확도의 강력한 기준이 된다.
• 강력한 기준임에도 불구하고 이차 손실 측면에서 향상 여지가 명백히 존재하여, 더 나은 집계 방법이 더 정확한 확률적 예측을 가능하게 함을 시사한다.
• 각 전문가의 예측 오차 분산을 모델링하는 베이지안 추정 알고리즘이 이차 손실 측면에서 단순 평균화를 일관되게 뛰어넘는다.
• 베이지안 방법은 다양한 평가 지표와 전문가 세트에서 가장 안정적이고 뛰어난 성능을 보인다.
• 전문가 신뢰도를 분산 추정을 통해 반영함으로써 정적 또는 히وري스틱 가중치 부여 방식보다 더 정확하고 신뢰할 수 있는 집계가 가능하다는 점이 결과에서 드러난다.