[논문 리뷰] Judging the Judges: A General Framework for Evaluating the Performance of International Sports Judges

Sandro Heiniger, Hugues Mercier|arXiv (Cornell University)|2018. 07. 26.

Sports Analytics and Performance참고 문헌 16인용 수 5

한 줄 요약

이 논문은 여덟 개의 올림픽 종목에서 이질분산 판결 오차를 모델링하여 국제 스포츠 심판을 평가할 수 있는 일반적인 프레임워크를 제안한다. 분석 결과, 선수의 성과 수준이 높아질수록 정확도가 향상되나, 드레스제에서는 그 반대인 것으로 드러났다. 이 방법은 내재된 오차 변동성의 이차 근사와 표준화된 점수 체계를 사용하여 기록이 불규칙하거나 편향된 심판을 탐지하며, 다양한 종목 간에 객관적인 심판 성과 평가를 가능하게 한다.

ABSTRACT

The monitoring of judges and referees in sports has become an important topic due to the increasing media exposure of international sporting events and the large monetary sums involved. In this article, we present a method to assess the accuracy of sports judges and estimate their bias. Our method is broadly applicable to all sports where panels of judges evaluate athletic performances on a finite scale. We analyze judging scores from eight different sports with comparable judging systems: diving, dressage, figure skating, freestyle skiing (aerials), freestyle snowboard (halfpipe, slopestyle), gymnastics, ski jumping and synchronized swimming. With the notable exception of dressage, we identify, for each aforementioned sport, a general and accurate pattern of the intrinsic judging error as a function of the performance level of the athlete. This intrinsic judging inaccuracy is heteroscedastic and can be approximated by a quadratic curve, indicating increased consensus among judges towards the best athletes. Using this observation, the framework developed to assess the performance of international gymnastics judges is applicable to all these sports: we can evaluate the performance of judges compared to their peers and distinguish cheating from unintentional misjudging. Our analysis also leads to valuable insights about the judging practices of the sports under consideration. In particular, it reveals a systemic judging problem in dressage, where judges disagree on what constitutes a good performance.

연구 동기 및 목표

• 다양한 종목 간에 국제 스포츠 심판의 정확도를 평가할 수 있는 일반적이고 확장 가능한 방법을 개발하는 것.
• 패널 기반 점수제를 채택한 종목에서 선수 성과 수준에 따라 내재된 심판 오차 변동성을 수량화하는 것.
• 각 심판의 성과를 동료 심판의 성과와 비교하여 표준화된 오차 지표를 활용해 기록이 불규칙하거나 편향된 심판을 탐지하는 것.
• 특히 주관성이 높은 종목인 드레스제와 같이 국가 편향 및 공감대 부족과 같은 체계적 문제를 다루는 것.
• 익명화되거나 투명하지 않은 시스템에 의존하지 않고도 연맹이 심판 품질을 모니터링하고 향상시킬 수 있는 투명하고 데이터 기반의 도구를 제공하는 것.

제안 방법

• 심판 오차를 이질분산 랜덤 변수로 모델링하며, 이는 선수의 성과 수준(c)에 따라 변동성이 달라지는 것을 가정한다.
• 각 종목에 대해 성과 수준별로 내재된 심판 오차 표준편차 σd(c)의 볼록한 이차 곡선을 적합하여 추정한다.
• 각 심판의 오차를 공식 mp,j ≜ êp,j / σ̂(cp)를 사용해 표준화하여, 각 성과 수준에서 기대되는 변동성 대비 편차를 규모화한다.
• 심판의 점수표시 점수 Mj를 그들의 표준화된 오차의 제곱근 평균 제곱오차로 계산한다: Mj ≜ √E[mp,j²], 여기서 Mj = 1은 중앙값에서 한 표준편차 이내의 편차를 의미하고, Mj = 0은 동료 심판과 완벽한 일관성을 보임을 의미한다.
• Mj를 사용해 이질적인 판단(예: >2·σ̂d(cp)·Mj)을 탐지하며, 심판의 본질적 정확도에 따라 임계값을 조정하여 기록의 불규칙성과 편향된 행동을 구분한다.
• 추정된 σ̂d(cp)와 Mj를 편향 분석(예: 국가 편향 탐지)에 통합하여 일관성과 체계적 선호 행동을 분리한다.

실험 결과

연구 질문

• RQ1 다양한 종목에서 선수 성과 수준에 따라 심판 오차의 변동성이 어떻게 변화하는가?
• RQ2 패널 기반 점수제를 채택한 종목에서 내재된 심판 오차 변동성을 볼록한 이차 함수로 모델링할 수 있는가?
• RQ3 왜 드레스제에서는 높은 성과 수준에서 심판 간의 불일치가 증가하는가? 다른 종목과는 어떻게 다를까?
• RQ4 표준화된 점수표시 점수 Mj는 기록이 불규칙한 심판과 일관되게 편향된 심판을 효과적으로 구분할 수 있는가?
• RQ5 연맹은 이 프레임워크를 사용해 익명화되거나 투명하지 않은 시스템에 의존하지 않고 심판 정확도를 어떻게 모니터링하고 향상시킬 수 있는가?

주요 결과

• 드레스제를 제외한 여덟 종목에서, 선수 성과 수준이 높아질수록 심판 오차의 변동성이 감소하며, 볼록한 이차 곡선을 따르며 최고 성과자에 대해 심판 간 공감대가 더 높아지는 것으로 나타났다.
• 드레스제는 유일한 예외로, 높은 성과 수준에서 심판 간 불일치가 증가하여 높은 주관성과 성과 기준에 대한 공감대 부족을 시사한다.
• 내재된 심판 오차 표준편차 σd(c)는 이차 모델로 정확하게 근사 가능하며, 각 성과 수준에서 기대되는 오차 변동성을 신뢰성 있게 추정할 수 있다.
• 점수표시 점수 Mj는 심판 정확도를 효과적으로 정량화한다: Mj = 1은 중앙값에서 한 표준편차의 편차를 의미하고, Mj = 0은 동료 심판과 완벽한 일관성을 보임을 의미한다.
• 이상치 탐지 임계값은 심판의 Mj에 따라 조정 가능하여 극단적인 잘못된 판단을 탐지할 수 있으며, 기록의 불규칙성과 드문 편향된 정확한 판단을 구분할 수 있다.
• 이 프레임워크는 객관적이고 투명하며 확장 가능한 심판 모니터링을 가능하게 하며, 패널 기반 점수제를 채택한 종목에서의 무능력 또는 잠재적 부정행위를 탐지할 수 있는 도구를 제공한다.