[논문 리뷰] National Bias of International Gymnastics Judges during the 2013-2016 Olympic Cycle

Sandro Heiniger, Hugues Mercier|arXiv (Cornell University)|2018. 07. 26.

Sports Analytics and Performance인용 수 6

한 줄 요약

이 연구는 2013–2016 올림픽 주기 동안 국제 체조 심판의 국가적 편향을 판단 오차의 이종분산성 모델링을 통해 규명하며, 공기체조, 예술체조, 리듬체조에서 유의미한 편향을 드러내지만, 특히 결승 라운드의 정상급 선수들에게서 두드러지게 나타나며, 아크로바틱스와 트램플린에서는 편향이 없음을 확인한다. 심판들은 동료 선수를 최대 허용 오차 변동성의 2/3까지 선호하지만, 자신의 선수의 직접 경쟁 상대에 대해서는 편향이 없다.

ABSTRACT

National bias in sports judging is a well-known issue and has been observed in several sports: judges, in the aggregate, give higher marks to athletes of the same nationality. In this work, we study the national bias of international gymnastics judges during the 2013-2016 Olympic cycle. As opposed to prior work, our analysis leverages the intrinsic variance of the judging error based on the performance level of the gymnasts for each apparatus and discipline. The magnitude of the national bias varies across judges, nations and disciplines. While acrobatics and trampoline do not exhibit any bias, we observe considerable bias by aerobics, artistics and rhythmics judges. In aerobic and artistic gymnastics this bias further increases for the best athletes competing in the finals. On the positive side, we show that judges are unbiased against direct competitors of their own gymnasts. Our approach could easily be applied to other sports that incorporate a judging panel and objective judging guidelines. It could help sports federations and the public at large understand the extent of national bias and identify particularly prone judges or nations.

연구 동기 및 목표

• 2013–2016 올림픽 주기 동안 국제 체조 심판의 국가적 편향의 존재성과 크기를 조사하기 위해.
• 성과 수준에 따라 변동하는 내재된 심판 오차 변동성을 고려함으로써 이전의 회귀 기반 방법의 한계를 보완하기 위해.
• 국가적 편향이 정상급 선수들이 결승 라운드에서 더 두드러지는지, 그리고 심판들이 자신의 선수의 직접 경쟁 상대에 대해 편향을 보이는지 확인하기 위해.
• 스포츠 연맹이 심판 시스템 내 국가적 편향을 줄이기 위해 실천 가능한 권고안을 제공하기 위해.
• 객관적인 점수 지침을 가진 다른 패anel-심판 스포츠에 적용 가능한 방법을 개발하기 위해.

제안 방법

• 대륙 및 국제 대회에서 수집한 데이터로부터 성과 수준에 따라 달라지는 표준편차를 도출하여, 심판 오차의 이종분산성을 모델링하기 위해.
• 이 내재된 오차 변동성을 기준으로 삼아, 명목 점수 차이가 아닌 표준편차 단위로 국가적 편향을 정량화하기 위해.
• 기대 오차 변동성과 동료 선수에게 주어진 점수의 관측된 편차를 비교하는 통계 모델을 적용하기 위해.
• 성과 수준을 보정한 상태에서 같은 국적의 선수와 비동일 국적의 선수에게 주어진 점수를 비교하여 편향을 평가하기 위해.
• 경기 단계(예: 결승 vs 예선)와 심판 위치(예: 기준 심판)와의 관계에서 편향을 평가하기 위해.
• 더 적극적인 점수 조정, 심판 편성 재구성, 장기적 심판 모니터링과 같은 정책적 개입을 제안하고 평가하기 위해.

실험 결과

연구 질문

• RQ1 체조 심판의 국가적 편향은 종목에 따라 달라지며, 만약 그렇다면 어떤 종목에서 가장 강한 편향이 나타나는가?
• RQ2 국가적 편향의 크기는 내재된 심판 오차 변동성과 어떻게 관련되어 있으며, 특히 고성능 선수들에게서는 어떠한가?
• RQ3 심판의 동료 선수의 직접 경쟁 상대에 대해 국가적 편향이 존재하는가?
• RQ4 정상급 선수들이 결승에서 경쟁할 경우, 특히 예술체조와 공기체조에서 편향이 증가하는가?
• RQ5 이종분산 오차 변동성 모델링을 통해 기존의 회귀 모델 대비 국가적 편향의 탐지 및 정량화가 향상되는가?

주요 결과

• 아크로바틱스와 트램플린 심판은 유의미한 국가적 편향을 보이지 않지만, 공기체조, 예술체조, 리듬체조 심판은 상당한 국가적 편향을 보인다.
• 예술체조 심판은 동료 선수를 평균적으로 내재된 심판 오차 변동성의 1/2만큼 과점하지만, 결승에서 정상급 선수들에게는 최대 2/3까지 증가한다.
• 심판들은 자신의 선수의 직접 경쟁 상대에 대해 일관되게 편향이 없으며, 이는 일반적인 관용이 아니라 목표 지향적 선호를 의미한다.
• 국가적 편향은 고성능 선수들에게서 가장 심각하며, 점수 범위가 좁기 때문에 작은 점수 차이도 메달 결과에 영향을 줄 수 있다.
• 내재된 오차의 표준편차 단위로 편향을 정량화하는 데 성공하여, 명목 점수 차이보다 더 세밀하고 공정한 평가가 가능해졌다.
• 국제체조연맹(FIG)은 극단적인 점수 조정과 기준 심판 및 실행 심판을 하나의 동등한 권한을 가진 패널로 통합하여 편향을 줄이기 위한 권고안을 수용하였다.