[논문 리뷰] AI Oversight and Human Mistakes: Evidence from Centre Court

David Almog, Romain Gauriot외 2명|arXiv (Cornell University)|2024. 01. 30.

Law, Economics, and Judicial Systems인용 수 5

한 줄 요약

이 논문은 프로 테니스에서 Hawk-Eye AI 감독이 심판의 의사결정에 어떤 영향을 미치는지 분석하여 전반적인 실수 감소를 보여주되, AI에 의해 기각당하는 심리적 비용으로 인한 오류 유형의 변 shift가 나타난다.

ABSTRACT

Powered by the increasing predictive capabilities of machine learning algorithms, artificial intelligence (AI) systems have the potential to overrule human mistakes in many settings. We provide the first field evidence that the use of AI oversight can impact human decision-making. We investigate one of the highest visibility settings where AI oversight has occurred: Hawk-Eye review of umpires in top tennis tournaments. We find that umpires lowered their overall mistake rate after the introduction of Hawk-Eye review, but also that umpires increased the rate at which they called balls in, producing a shift from making Type II errors (calling a ball out when in) to Type I errors (calling a ball in when out). We structurally estimate the psychological costs of being overruled by AI using a model of attention-constrained umpires, and our results suggest that because of these costs, umpires cared 37% more about Type II errors under AI oversight.

연구 동기 및 목표

• AI 감독이 고위험 상황에서 인간 의사결정에 어떤 영향을 미치는지 이해를 자극한다.
• Hawk-Eye가 심판의 실수율과 오류 유형(서브와 비서브, 근소한 판정)을 어떻게 바꾸는지 정량화한다.
• AI 감독으로 인한 심리적 비용을 포착하는 합리적 무시 모델을 개발한다.
• 선수의 신장과 토너먼트 단계별 이질성을 평가한다.
• AI 감독 설계와 인센티브 정렬에 대한 정책적 시사점을 제공한다.

제안 방법

• Hawk-Eye 도입 전/후의 두 기간 설정을 사용하여 AI 감독 효과를 식별한다.
• 포인트 수준 의사결정을 위해 세 가지 데이터 소스(Hawk-Eye Base, Challenge 데이터, 비디오 감사 병합)를 통합한다.
• PostHK 효과를 포착하기 위해 거리 구간, 속도, 득점 및 매치 제어 변수를 포함한 불완전판 판정의 OLS 모형을 추정한다.
• 작업별 효과를 이해하기 위해 서브 vs 비서브에 대한 분석을 분리한다.
• 비대칭 주의 비용과 AI 반박 페널티를 가진 합리적 무시 모델을 통해 AI 감독의 심리적 비용을 구조적으로 추정한다.

Figure 1 : Incorrect call rates by proximity to the line. Each dot is the rate of incorrect calls for a bin of 20 mm. Dots to the left of the dashed line represent bins out of bounds, and the right of the dashed line represents bins in bounds.

실험 결과

연구 질문

• RQ1 Hawk-Eye AI 감독이 전반적인 심판의 오판률을 감소시키는가?
• RQ2 가장 근접한 판정(20 mm 이내)에서 AI 감독이 미치는 영향은 서브와 비서브 및 선을 향한 거리와 어떻게 다른가?
• RQ3 AI에 의해 기각되는 심리적 비용이 심판의 행동 변화에 충분히 설명하는가?
• RQ4 선수 순위나 토너먼트 단계에 따라 AI 감독 효과에 이질성이 있는가?

주요 결과

• Hawk-Eye 도입 후 심판의 전반적 실수율이 8% 포인트(1.1%포인트) 감소하여 합리적 무시와 일치한다.
• 가장 근접한 판정(20 mm 이내)에서의 오판율은 AI 감독 하에 22.9%(7.3포인트) 증가한다.
• Hawk-Eye 이후 근소한 판정에서 공을 스트라이크로 호출하는 비율이 12.6%(6.2포인트) 증가하여 오류가 Type II에서 Type I으로 이동한다.
• 주요 규정에서 서브의 경우 AI 감독의 성능 영향이 유의미하지 않지만, 비서브의 경우 잘못된 호출이 2.3포인트 감소하여 기준선 대비 약 17% 감소한다.
• 구조적 추정은 AI 감독 이후 심리적 비용이 Type II 오류에 대해 심판들이 두 배 더 크게 신경 쓰게 만든다고 제시한다.

(a) Serves.