[論文レビュー] Judging the Judges: Evaluating the Performance of International Gymnastics Judges

Hugues Mercier, Sandro Heiniger|arXiv (Cornell University)|Jul 26, 2018

Sports Analytics and Performance参考文献 29被引用数 9

ひとこと要約

本論文は、異分散性のランダム変数に基づく採点スコアを用いて正確性、バイアスの検出、公平性の確保を評価する統計的エンジンであるJudge Evaluation Program（JEP）を紹介する。このシステムは、内在的採点誤差のばらつきをモデル化することで、従来のシステムを改善し、客観的で縦断的なパフォーマンス追跡を可能にし、FIGにおけるより良い審査官の選定と規則改正をもたらす。

ABSTRACT

Judging a gymnastics routine is a noisy process, and the performance of judges varies widely. In collaboration with the Fédération Internationale de Gymnastique (FIG) and Longines, we are designing and implementing an improved statistical engine to analyze the performance of gymnastics judges during and after major competitions like the Olympic Games and the World Championships. The engine, called the Judge Evaluation Program (JEP), has three objectives: (1) provide constructive feedback to judges, executive committees and national federations; (2) assign the best judges to the most important competitions; (3) detect bias and outright cheating. Using data from international gymnastics competitions held during the 2013-2016 Olympic cycle, we first develop a marking score evaluating the accuracy of the marks given by gymnastics judges. Judging a gymnastics routine is a random process, and we can model this process very accurately using heteroscedastic random variables. The marking score scales the difference between the mark of a judge and the theoretical performance of a gymnast as a function of the standard deviation of the judging error estimated from data for each apparatus. This dependence between judging variability and performance quality has never been properly studied. We then study ranking scores assessing to what extent judges rate gymnasts in the correct order, and explain why we ultimately chose not to implement them. We also study outlier detection to pinpoint gymnasts who were poorly evaluated by judges. Finally, we discuss interesting observations and discoveries that led to recommendations and rule changes at the FIG.

研究の動機と目的

• 主要な大会における国際的体操審査官の正確性と一貫性を、客観的でデータドリブンな方法で評価すること。
• 審査官の採点が期待されるパフォーマンス水準から逸脱する傾向を分析することで、体系的なバイアスや不正の兆候を特定すること。
• 訓練および資格認定の改善に役立つ、実行可能なフィードバックを審査官、国別連盟、執行委員会に提供すること。
• オリンピック競技会のような高リスクイベントにおける上位パフォーマンスを示す審査官の選定を支援すること。
• 標準化されたガイドラインを用いて、コンテスト後評価に使用されるコントロールスコアの信頼性を向上させること。

提案手法

• 採点スコアは、各器械の内在的誤差に応じてばらつきが変化する異分散性のランダムプロセスとして審査をモデル化し、各器械ごとの正確性評価を可能にする。
• コントロールスコアは、ライブイベント中は全審査官の採点中央値で近似され、コンテスト後にはより正確なビデオレビュー採点が検証のために使用される。
• 縦断的分析により、数千回に及ぶ評価を経て、審査官の時間的経過に伴う一貫性と正確性を追跡する。
• 外れ値検出は、パネル全体で著しく不一致または不正確な採点を受けた体操選手を特定する。
• ランクスコアは評価されたが、不安定さと微小な採点差への感受性のため、最終的に実装されなかった。
• 統計モデルは、公式のコントロールスコアが入手できない場合の代替として、中央値採点を用いて2013年から2016年のオリンピックサイクルのデータで訓練された。

実験結果

リサーチクエスチョン

• RQ1 統計的モデリングを用いて、国際的体操審査官の正確性をどのように客観的に測定できるか？
• RQ2 内在的採点誤差のばらつきは、器械ごとにどの程度異なるのか。また、採点の一貫性にどのような影響を与えるか？
• RQ3 統計的エンジンは、リアルタイムおよび後続の審査においてバイアスや不正を検出できるか？
• RQ4 ライブコンテスト中に使用されるコントロールスコアの近似（例：中央値採点）は、審査官評価の信頼性にどのように影響するか？
• RQ5 縦断的パフォーマンス追跡は、常に正確または不正確な審査官を特定するうえで、どのような役割を果たすか？

主な発見

• 採点スコアは、器械ごとの内在的採点誤差のばらつきを考慮することで、審査官間の公平な比較を可能にする。
• カテゴリ1の審査官の中でも顕著なパフォーマンス差が観察された。これは、エリート審査官すべてが等しく正確であるとは限らないことを示している。
• 外れ値検出は、不適切に評価された体操選手を効果的に特定し、パネル評価の潜在的な不整合を浮き彫りにした。
• ライブコンテスト中に中央値採点をコントロールスコアの代理として使用することは妥当な近似であるが、パネル全体が体系的に不正確な場合、誤解を招く可能性がある。
• コンテスト後における技術委員会によるビデオレビューは、依然としてゴールドスタンダードであるが、その信頼性は偏りのない構成と一貫した集計手法に依存する。
• 本研究はFIGにおいて勧告と規則改正をもたらし、コントロールスコア計算のガイドライン改善や、審査パフォーマンスの監視強化が行われた。