[論文レビュー] National Bias of International Gymnastics Judges during the 2013-2016 Olympic Cycle

Sandro Heiniger, Hugues Mercier|arXiv (Cornell University)|Jul 26, 2018

Sports Analytics and Performance被引用数 6

ひとこと要約

本研究では、2013–2016年のオリンピック・サイクルにおける国際的体操競技の審査員に見られる国家的バイアスを、審査誤差の非定常分散（heteroscedasticity）をモデル化することで特定した。アーチスティック、アEROBIC、リズム体操で顕著なバイアスが判明したが、特に決勝の上位選手に対して顕著であり、アコースティック体操とトランポリンではバイアスが認められなかった。審査員は同胞選手を、内在的誤差変動の約2/3の範囲で優遇しているが、自国の選手の直接の競合相手に対しては偏りを示さない。

ABSTRACT

National bias in sports judging is a well-known issue and has been observed in several sports: judges, in the aggregate, give higher marks to athletes of the same nationality. In this work, we study the national bias of international gymnastics judges during the 2013-2016 Olympic cycle. As opposed to prior work, our analysis leverages the intrinsic variance of the judging error based on the performance level of the gymnasts for each apparatus and discipline. The magnitude of the national bias varies across judges, nations and disciplines. While acrobatics and trampoline do not exhibit any bias, we observe considerable bias by aerobics, artistics and rhythmics judges. In aerobic and artistic gymnastics this bias further increases for the best athletes competing in the finals. On the positive side, we show that judges are unbiased against direct competitors of their own gymnasts. Our approach could easily be applied to other sports that incorporate a judging panel and objective judging guidelines. It could help sports federations and the public at large understand the extent of national bias and identify particularly prone judges or nations.

研究の動機と目的

• 2013–2016年オリンピック・サイクルにわたる国際的体操競技審査員における国家的バイアスの有無とその大きさを調査すること。
• パフォーマンスの質に応じて変動する内在的審査誤差変動を組み込むことで、従来の回帰ベースの手法の限界を克服すること。
• 国家的バイアスが、決勝のエリート選手に対してより顕著であるかどうか、および審査員が自国の選手の直接の競合相手に対してバイアスを示すかどうかを特定すること。
• スポーツ連盟が審査制度における国家的バイアスを低減するための実行可能な提言を提供すること。
• 客観的なスコアガイドラインを有するパネル審査スポーツに適用可能な手法を開発すること。

提案手法

• 大陸および国際大会のデータから得られるパフォーマンスレベル依存の標準偏差を用いて、審査誤差の非定常分散をモデル化する。
• この内在的誤差変動をベンチマークとして用い、名目的なスコア差ではなく、標準偏差の観点から国家的バイアスを定量化する。
• 期待される誤差変動と、同胞選手に与えられたスコアの観察された乖離を比較する統計モデルを適用する。
• パフォーマンスの質を制御した上で、同胞選手と非同胞選手に与えられたスコアを比較してバイアスを評価する。
• 競技ステージ（例：決勝 vs. 資格ラウンド）および審査員の位置（例：基準審査員）との関連性を評価する。
• 極端なスコアのカット、パネル再編、長期間にわたる審査員監視などの政策的対策を提言・評価する。

実験結果

リサーチクエスチョン

• RQ1 体操審査における国家的バイアスは、種目によって異なるか。もしそうなら、どの種目で最も強いバイアスが見られるか？
• RQ2 国家的バイアスの大きさは、特に高パフォーマンス選手に対して、審査誤差の内在的変動とどのように関係しているか？
• RQ3 審査員の同胞選手の直接の競合相手に対して、国家的バイアスの証拠があるか？
• RQ4 エリート選手が決勝で競技する際、特にアーチスティック体操およびアEROBIC体操においてバイアスが増大するか？
• RQ5 非定常分散誤差変動をモデル化する本手法は、従来の回帰モデルと比較して、国家的バイアスの検出および定量化をどのように改善できるか？

主な発見

• アコースティック体操とトランポリンの審査員には顕著な国家的バイアスが認められなかったが、アEROBIC体操、アーチスティック体操、リズム体操の審査員には顕著なバイアスが認められた。
• アーチスティック体操の審査員は、同胞選手を平均して内在的審査誤差変動の半分のスコアで上回り、決勝の上位選手では2/3まで上昇した。
• 審査員は、自国の選手の直接の競合相手に対して一貫してバイアスを示さないため、一般の寛容さではなく、的を射た好意的偏りであることが示された。
• バイアスは、成績が優れた選手に対して最も深刻であり、スコア範囲が狭いため、わずかなスコアの乖離でもメダルの順位に影響を及ぼす可能性がある。
• 本手法は、内在的誤差の標準偏差の観点からバイアスを定量化でき、名目的なスコア差よりも洗練された、より公正な評価が可能であることを示した。
• 国際体操連合（FIG）は、極端なスコアをカットする方針と、基準審査員と実行審査員を統合した、同等の権限を持つ1つのパネルに再編する提言を採用した。