[论文解读] Appropriate Reliance on AI Advice: Conceptualization and the Effect of Explanations

Max Schemmer, Niklas Kühl+3 more|arXiv (Cornell University)|Feb 4, 2023

Ethics and Social Impacts of AI被引用 6

一句话总结

本文提出了依賴適切性（AoR），這是一種雙維度、可量化的測量概念，用於評估人類何時應聽從或拒絕AI建議。在200名參與者的實驗中，解釋顯著提升了AoR，提升了決策準確性並減少對錯誤AI建議的過度依賴，進而促進更有效的「人機協作」。

ABSTRACT

AI advice is becoming increasingly popular, e.g., in investment and medical treatment decisions. As this advice is typically imperfect, decision-makers have to exert discretion as to whether actually follow that advice: they have to "appropriately" rely on correct and turn down incorrect advice. However, current research on appropriate reliance still lacks a common definition as well as an operational measurement concept. Additionally, no in-depth behavioral experiments have been conducted that help understand the factors influencing this behavior. In this paper, we propose Appropriateness of Reliance (AoR) as an underlying, quantifiable two-dimensional measurement concept. We develop a research model that analyzes the effect of providing explanations for AI advice. In an experiment with 200 participants, we demonstrate how these explanations influence the AoR, and, thus, the effectiveness of AI advice. Our work contributes fundamental concepts for the analysis of reliance behavior and the purposeful design of AI advisors.

研究动机与目标

• 解決缺乏對AI建議依賴適切性（AR）的共識定義與操作性測量的問題。
• 發展一種可量化的雙維度測量概念——依賴適切性（AoR），以捕捉人類決策者應聽從或拒絕AI建議的時機。
• 探討解釋如何影響AR，特別是在減少對錯誤建議的過度依賴與提升決策準確性方面的影響。
• 為設計能透過更佳依賴行為支持有效人機協作的AI輔助系統奠定基礎。

提出的方法

• 提出雙維度的AoR指標：(1) 對正確AI建議的正確依賴，(2) 對錯誤AI建議的拒絕。
• 建立研究模型，分析解釋對AoR的影響，整合人類表現、AI表現與依賴行為。
• 在順序性任務設定中進行實驗研究，參與者共200名：人類先獨立做決策，再獲得有或無解釋的AI建議。
• 使用飯店評論欺詐檢測任務，模擬AI建議可能出錯的現實決策情境。
• 運用統計分析比較有與無解釋條件下AoR分數的差異，衡量依賴準確性之變化。
• 應用正式的表現條件（CTP）定義人類-AI協作表現優於個別表現的時機，使用RSR與RAIR等指標。

实验结果

研究问题

• RQ1 如何概念性地定義並操作性地測量對AI建議的適切依賴？
• RQ2 解釋在多大程度上能提升對AI建議的依賴適切性？
• RQ3 解釋如何影響對正確建議的正確依賴與對錯誤建議的拒絕之間的平衡？
• RQ4 解釋對人機協作表現有何影響，特別是在減少對有缺陷AI建議的過度依賴方面？

主要发现

• 解釋顯著提升了依賴適切性（AoR），提高在依賴AI建議時做出正確決策的可能性。
• 獲得解釋的參與者對錯誤AI建議的過度依賴顯著減少，顯示其更能區分優良與劣質建議。
• 研究發現，解釋同時提升了對正確建議的正確依賴與對錯誤建議的拒絕，支持AoR的雙維度特性。
• 實驗結果顯示，解釋有助於達成補充團隊表現（CTP），即人機協作表現優於單獨任一參與者。
• 順序性任務設定揭示了潛在的錨定效應，可能限制整體RSR與RAIR表現，暗示在測量即時依賴行為方面存在方法論上的限制。