[논문 리뷰] Appropriate Reliance on AI Advice: Conceptualization and the Effect of Explanations

Max Schemmer, Niklas Kühl외 3명|arXiv (Cornell University)|2023. 02. 04.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 인간이 AI의 조언을 따르거나 기각할 때를 평가하기 위한 양적 측정 개념인 신뢰의 적절성(AoR)을 도입한다. 200명의 참가자와 함께 실시한 실험에서 설명은 결정 정확도를 향상시키고 잘못된 AI 조언에 대한 과도한 의존을 줄임으로써 AoR를 크게 향상시켰으며, 이는 효과적인 인간-AI 협업을 촉진한다.

ABSTRACT

AI advice is becoming increasingly popular, e.g., in investment and medical treatment decisions. As this advice is typically imperfect, decision-makers have to exert discretion as to whether actually follow that advice: they have to "appropriately" rely on correct and turn down incorrect advice. However, current research on appropriate reliance still lacks a common definition as well as an operational measurement concept. Additionally, no in-depth behavioral experiments have been conducted that help understand the factors influencing this behavior. In this paper, we propose Appropriateness of Reliance (AoR) as an underlying, quantifiable two-dimensional measurement concept. We develop a research model that analyzes the effect of providing explanations for AI advice. In an experiment with 200 participants, we demonstrate how these explanations influence the AoR, and, thus, the effectiveness of AI advice. Our work contributes fundamental concepts for the analysis of reliance behavior and the purposeful design of AI advisors.

연구 동기 및 목표

• AI 조언에 대한 적절한 의존(AR)에 대한 공통된 정의와 운영 가능한 측정 방법의 부족을 해결하기 위해.
• 인간 의사결정자가 언제 AI 조언을 따를지 또는 기각할지를 포괄하는 양적이고 이원적인 측정 개념인 신뢰의 적절성(AoR)을 개발하기 위해.
• 설명이 AR에 미치는 영향, 특히 잘못된 조언에 대한 과도한 의존을 줄이고 결정 정확도를 향상시키는 데 미치는 영향을 조사하기 위해.
• 더 나은 의존 행동을 통해 효과적인 인간-AI 협업을 지원하는 AI 조언자 설계를 위한 기반을 마련하기 위해.

제안 방법

• 두 차원의 AoR 지표를 제안함: (1) 정확한 AI 조언에 대한 올바른 의존과 (2) 잘못된 AI 조언에 대한 기각.
• 설명이 AoR에 미치는 영향을 분석하는 연구 모델을 개발하며, 인간 성과, AI 성과, 의존 행동을 포함함.
• 200명의 참가자를 대상으로 순차적 작업 설정에서 실험 연구를 수행함: 인간은 먼저 독립적으로 결정을 내리고, 이후 설명이 있는지 여부에 따라 AI 조언을 받음.
• 실제 의사결정 상황을 시뮬레이션하기 위해 호텔 리뷰 기만 탐지 작업을 사용함. 이는 AI 조언이 잘못되었을 수 있는 맥락에서의 실생활 상황을 반영함.
• 통계적 분석을 통해 설명이 있는 조건과 없는 조건 간의 AoR 점수를 비교하고, 의존 정확도의 변화를 측정함.
• 인간-AI 협업이 개인 성과를 초월할 때를 정의하기 위해 공식적인 성과 조건(CTP)을 적용하며, RSR 및 RAIR와 같은 지표를 사용함.

실험 결과

연구 질문

• RQ1 AI 조언에 대한 적절한 의존은 어떻게 개념적으로 정의되고 운영적으로 측정할 수 있는가?
• RQ2 설명은 얼마나 AI 조언에 대한 신뢰의 적절성(AoR)을 향상시키는가?
• RQ3 설명은 정확한 조언에 대한 올바른 의존과 잘못된 조언에 대한 기각 사이의 균형에 어떻게 영향을 미치는가?
• RQ4 설명은 인간-AI 협업 성과에 어떤 영향을 미치며, 특히 결함 있는 AI 추천에 대한 과도한 의존을 줄이는 데 어떤 기여를 하는가?

주요 결과

• 설명은 신뢰의 적절성(AoR)을 유의미하게 향상시켰으며, AI 조언에 의존할 때 올바른 결정을 내릴 가능성을 높였다.
• 설명을 받은 참가자들은 잘못된 AI 조언에 대한 과도한 의존이 유의미하게 감소했으며, 좋은 추천과 나쁜 추천을 더 잘 구분하는 능력을 보였다.
• 연구 결과는 설명이 정확한 조언에 대한 올바른 의존과 잘못된 조언에 대한 기각을 모두 향상시켜 AoR의 이원적 성격을 뒷받침함을 보여주었다.
• 실험 결과는 설명이 보완적 팀 성과(CTP)를 달성하는 데 기여하며, 인간-AI 협업이 개별 성과를 초월함을 입증했다.
• 순차적 작업 설정은 잠재적인 고정 효과(anchoring effect)를 드러내었으며, 이는 전체 RSR 및 RAIR를 제한할 수 있어 실시간 의존 행동 측정에 메소드올로지적 제약이 있음을 시사한다.