[논문 리뷰] Empirical Evaluation of Real World Tournaments

Nicholas Mattei, Toby Walsh|arXiv (Cornell University)|2016. 08. 03.

Mobile Crowdsensing and Crowdsourcing참고 문헌 43인용 수 6

한 줄 요약

이 논문은 잉글랜드 프리미어리그, 독일 분데스리가, ATP 월드 투어의 데이터를 활용하여 실세계 대회를 경험적으로 평가하며, NP-난해 문제인 토너먼트 조작 문제의 실용적 효율성과 실세계 데이터 패턴을 입증한다. 또한 실세계 토너먼트 결과가 일반적으로 사용되는 콘도르세 랜덤 모델이 예측하지 못하는 로그노멀 분포를 따르며, 이는 기존 이론 모델의 한계를 드러낸다.

ABSTRACT

Computational Social Choice (ComSoc) is a rapidly developing field at the intersection of computer science, economics, social choice, and political science. The study of tournaments is fundamental to ComSoc and many results have been published about tournament solution sets and reasoning in tournaments. Theoretical results in ComSoc tend to be worst case and tell us little about performance in practice. To this end we detail some experiments on tournaments using real wold data from soccer and tennis. We make three main contributions to the understanding of tournaments using real world data from English Premier League, the German Bundesliga, and the ATP World Tour: (1) we find that the NP-hard question of finding a seeding for which a given team can win a tournament is easily solvable in real world instances, (2) using detailed and principled methodology from statistical physics we show that our real world data obeys a log-normal distribution; and (3) leveraging our log-normal distribution result and using robust statistical methods, we show that the popular Condorcet Random (CR) tournament model does not generate realistic tournament data.

연구 동기 및 목표

• 실세계 스포츠 데이터를 활용하여 NP-난해 문제인 토너먼트 조작 문제(TFP)의 실용적 가용성을 평가하기.
• 실세계 토너먼트 결과 분포가 콘도르세 랜덤(CR) 모델 같은 이론적 모델과 일치하는지 확인하기.
• 강력한 통계적 방법을 적용하여 토너먼트 결과의 진정한 기초 분포를 규명하기.
• 실제 데이터와 비교하여 콘도르세 랜덤(CR) 모델이 생성한 합성 토너먼트 데이터의 현실성 평가하기.
• 최악의 이론적 가정에 머무르지 않고 데이터 기반의 모델 검증을 통해 계산 사회선택 분야의 접근 방식을 개선하기.

제안 방법

• 잉글랜드 프리미어리그, 독일 분데스리가, ATP 월드 투어에서 실세계 토너먼트 데이터를 수집하여 경험적 분석 수행.
• 능력 법칙과 로그노멀 분포를 비교하기 위해 우도 비율 검정 및 강력한 통계적 피팅 적용.
• 실제 데이터와 합성 데이터의 중앙값(μ) 및 곱셈 표준편차(σ) 파라미터를 로그노멀 분포 모델을 통해 추정.
• 다양한 승리 확률(예: Pr(b=0.30))을 가진 콘도르세 랜덤(CR) 모델을 사용하여 합성 토너먼트 생성.
• CR 모델의 실세계 데이터에 대한 적합도를 비교하기 위해 통계적 가설 검정 수행.
• 통계물리학에서 유래한 체계적인 방법론을 활용하여 분포 가정의 타당성을 검증하고 모델의 타당성을 확보.

실험 결과

연구 질문

• RQ1 NP-난해 토너먼트 조작 문제(TFP)는 실세계 스포츠 대회에서 실용적으로 해결 가능한가?
• RQ2 실세계 토너먼트 결과 빈도는 능력 법칙인지, 로그노멀 분포인지?
• RQ3 일반적으로 사용되는 콘도르세 랜덤(CR) 모델은 실세계 토너먼트 데이터의 통계적 특성을 정확히 재현하는가?
• RQ4 실세계 토너먼트 결과를 가장 잘 설명하는 분포 기반 파라미터(예: μ, σ)는 무엇인가?
• RQ5 계산 사회선택 분야의 이론적 모델은 스포츠 대회에서의 경험적 현실을 어느 정도 반영하는가?

주요 결과

• 이론적으로 NP-난해이지만, 잉글랜스 프리미어리그, 독일 분데스리가, ATP 월드 투어의 실세계 사례에서는 토너먼트 조작 문제(TFP)가 실용적으로 효율적으로 해결 가능하다.
• 실세계 토너먼트 결과 빈도는 로그노멀 분포를 따르며, 우도 비율 검정 결과 능력 법칙 모델보다 유의미하게 더 높은 적합도를 보였다(p = 0.4642, R = 0.7319).
• 콘도르세 랜덤(CR) 모델은 실세계 데이터에서 관찰된 로그노멀 분포를 재현하지 못하여 현실적인 토너먼트 데이터를 생성하지 못한다.
• 2014년 분데스리가 데이터의 로그노멀 파라미터는 μ = -4.0717, σ = 1.2611이었고, 최적의 CR 모델은 μ = -3.3823, σ = 1.0018였으며, 이는 분포의 구조적 불일치를 시사한다.
• 이 연구는 스포츠 결과와 같은 분포가 과거에 능력 법칙으로 간주되었지만, 독립된 경기 결과의 곱셈적 성질로 인해 로그노멀 분포로 더 잘 설명될 수 있음을 입증한다.
• 현재 계산 사회선택 분야의 생성 모델(예: CR)은 경험적 검증 없이 사용될 경우 오해의 소지가 있으며, 데이터 기반의 모델 선택이 필수적임을 시사한다.