[論文レビュー] AI Oversight and Human Mistakes: Evidence from Centre Court

David Almog, Romain Gauriot+2 more|arXiv (Cornell University)|Jan 30, 2024

Law, Economics, and Judicial Systems被引用数 5

ひとこと要約

本論文は、プロフェッショナルテニスにおける Hawk-Eye AI の監視が審判の意思決定にどのように影響するかを分析し、全体的な誤りの削減を示す一方、AIによる覆裁の心理的コストによって生じるエラーの種類が変化することを示している。

ABSTRACT

Powered by the increasing predictive capabilities of machine learning algorithms, artificial intelligence (AI) systems have the potential to overrule human mistakes in many settings. We provide the first field evidence that the use of AI oversight can impact human decision-making. We investigate one of the highest visibility settings where AI oversight has occurred: Hawk-Eye review of umpires in top tennis tournaments. We find that umpires lowered their overall mistake rate after the introduction of Hawk-Eye review, but also that umpires increased the rate at which they called balls in, producing a shift from making Type II errors (calling a ball out when in) to Type I errors (calling a ball in when out). We structurally estimate the psychological costs of being overruled by AI using a model of attention-constrained umpires, and our results suggest that because of these costs, umpires cared 37% more about Type II errors under AI oversight.

研究の動機と目的

• 高リスク環境における人間の意思決定に対するAI監視がどのように影響するかを理解する動機付け。
• Hawk-Eyeが審判の誤判率と誤りの種類（サービスかどうか、近接判定）に与える影響を定量化する。
• AIによる覆裁の心理的コストを捉える合理的不注意モデルを開発する。
• プレーヤーの地位（実力）と大会段階による異質性を評価する。
• AI監視設計とインセンティブ整合性に関する政策的示唆を提供する。

提案手法

• Hawk-Eye導入前後の2期間設定を用いてAI監視効果を特定する。
• ポイントレベルの決定について、3つのデータソース（Hawk-Eye Base、Challengeデータ、ビデオ監査統合）を統合する。
• 距離ビン、スピード、スコア、マッチ統計を用いた誤呼判のOLSモデルを推定してPostHK効果を捉える。
• サービスと非サービスで別々の分析を行い、タスク特異的効果を理解する。
• 非対称な注意コストとAI覆裁ペナルティを含む合理的不注意モデルを用いて、AI監視の心理的コストを構造的に推定する。

Figure 1 : Incorrect call rates by proximity to the line. Each dot is the rate of incorrect calls for a bin of 20 mm. Dots to the left of the dashed line represent bins out of bounds, and the right of the dashed line represents bins in bounds.

実験結果

リサーチクエスチョン

• RQ1 Hawk-Eye AI監視は全体の審判の誤判率を低減させるか。
• RQ2 近接判定における誤りの種類（サービスか否か、ラインからの距離）に対してAI監視はどう影響するか。
• RQ3 AIによる覆裁の心理的コストは審判行動の変化を説明するか。
• RQ4 プレーヤーのランキングや大会段階によってAI監視効果に異質性はあるか。

主な発見

• Hawk-Eye導入後、審判は全体の誤判率を8%ポイント（1.1パーセンテージポイント）低減し、合理的不注意と整合している。
• 最も近い判定（20 mm以内）では、AI監視の下で誤判率が22.9%（7.3パーセンテージポイント）増加する。
• Hawk-Eye後、近接判定でボールをインと判定する割合が12.6%（6.2ポイント）増加し、誤りをType IIからType Iへシフトさせる。
• サービスでは主要仕様でAI監視による有意な影響は見られず、非サービスでは誤呼判が2.3ポイント減少（ベースライン比約17%削減）。
• 構造推定はAI監視後、心理的コストにより審判がType IIエラーを二倍気にするようになると示唆する。

(a) Serves.