[論文レビュー] Empirical Evaluation of Real World Tournaments

Nicholas Mattei, Toby Walsh|arXiv (Cornell University)|Aug 3, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 43被引用数 6

ひとこと要約

本稿は、イングランド・プレミアシップリーグ、ドイツ・ブンデスリーガ、ATPワールドツアーのデータを用いて、現実のトーナメントを実証的に評価し、NP困難なトーナメント操作問題（Tournament Fixing Problem）が実際には効率的に解けることを示している。さらに、現実のトーナメント結果は、広く用いられているコンドルセ確率モデル（Condorcet Random model）とは対照的に、対数正規分布に従うことが判明した。このモデルは現実のデータのパターンを再現できない。

ABSTRACT

Computational Social Choice (ComSoc) is a rapidly developing field at the intersection of computer science, economics, social choice, and political science. The study of tournaments is fundamental to ComSoc and many results have been published about tournament solution sets and reasoning in tournaments. Theoretical results in ComSoc tend to be worst case and tell us little about performance in practice. To this end we detail some experiments on tournaments using real wold data from soccer and tennis. We make three main contributions to the understanding of tournaments using real world data from English Premier League, the German Bundesliga, and the ATP World Tour: (1) we find that the NP-hard question of finding a seeding for which a given team can win a tournament is easily solvable in real world instances, (2) using detailed and principled methodology from statistical physics we show that our real world data obeys a log-normal distribution; and (3) leveraging our log-normal distribution result and using robust statistical methods, we show that the popular Condorcet Random (CR) tournament model does not generate realistic tournament data.

研究の動機と目的

• 実世界のスポーツデータを用いて、NP困難なトーナメント操作問題（TFP）の実用的 tractability を評価すること。
• 現実のトーナメント結果の分布が、コンドルセ確率（CR）モデルのような理論的モデルと一致するかを特定すること。
• 健全な統計的手法を適用して、トーナメント結果の真の背後分布を同定すること。
• CRモデルによって生成された合成トーナメントデータの現実性を、実証データと比較して評価すること。
• 計算社会選択におけるデータ駆動型のモデル妥当性評価を提唱し、最悪ケース理論的仮定にとどまらないようにすること。

提案手法

• イングランド・プレミアシップリーグ、ドイツ・ブンデスリーガ、ATPワールドツアーから実世界のトーナメントデータを収集し、実証的分析に用いた。
• 尤度比検定と頑健な統計的フィッティングを用いて、結果頻度のべき乗則と対数正規分布の比較を行った。
• 実データおよび合成データの対数正規分布モデルを用いて、中央値（μ）および乗法的標準偏差（σ）のパラメータを推定した。
• 異なる勝利確率（例：Pr(b=0.30））を用いたコンドルセ確率（CR）モデルで合成トーナメントを生成した。
• CRモデルと実世界データとの適合度を比較するための統計的仮説検定を実施した。
• 統計物理学からの体系的アプローチを用いて、分布仮定の妥当性を検証し、モデルの妥当性を保証した。

実験結果

リサーチクエスチョン

• RQ1 NP困難なトーナメント操作問題（TFP）は、現実のスポーツトーナメントにおいて実用的に解けるか？
• RQ2 現実のトーナメント結果の頻度は、べき乗則か対数正規分布に従うか？
• RQ3 広く用いられているコンドルセ確率（CR）モデルは、現実のトーナメントデータの統計的性質を正確に再現できるか？
• RQ4 現実のトーナメント結果を最もよく説明する分布的パラメータ（例：μ、σ）は何か？
• RQ5 計算社会選択における理論的モデルは、スポーツトーナメントにおける実証的現実をどの程度反映しているか？

主な発見

• 理論的にはNP困難であるが、イングランド・プレミアシップリーグ、ドイツ・ブンデスリーガ、ATPワールドツアーの実世界インスタンスでは、トーナメント操作問題（TFP）は実用的に効率的に解ける。
• 現実のトーナメント結果の頻度は、対数正規分布に従う。尤度比検定により、べき乗則モデルよりも顕著に適合度が優れている（p = 0.4642, R = 0.7319）。
• コンドルセ確率（CR）モデルは現実のトーナメントデータを生成できない。これは、実世界データで観察された対数正規分布と一致しないからである。
• 2014年のブンデスリーガデータの対数正規パラメータは μ = -4.0717 および σ = 1.2611 であり、最良の適合CRモデルは μ = -3.3823 および σ = 1.0018 であった。これは分布構造における根本的な不一致を示している。
• これまでべき乗則であると仮定されていた分布（例：スポーツ結果）は、独立した試合結果の乗法的性質により、対数正規分布によってよりよく説明できることが示唆された。
• 本研究の結果は、計算社会選択における現在の生成モデル（例：CR）が、実証的妥当性の確認がなければ誤解を招く可能性があり、データ駆動型のモデル選択が不可欠であることを示唆している。