[논문 리뷰] Explanations Can Reduce Overreliance on AI Systems During Decision-Making

Helena Vasconcelos, Matthew Jörke외 4명|arXiv (Cornell University)|2022. 12. 13.

Decision-Making and Behavioral Economics인용 수 20

한 줄 요약

이 논문은 다섯 연구(N=731)에서 시뮬레이션 AI와의 협업에서 작업과 설명 비용을 maze 해결에 활용하는 비용-편익 프레임워크를 통해 AI 설명이 과도한 의존을 줄일 수 있음을 보여준다.

ABSTRACT

Prior work has identified a resilient phenomenon that threatens the performance of human-AI decision-making teams: overreliance, when people agree with an AI, even when it is incorrect. Surprisingly, overreliance does not reduce when the AI produces explanations for its predictions, compared to only providing predictions. Some have argued that overreliance results from cognitive biases or uncalibrated trust, attributing overreliance to an inevitability of human cognition. By contrast, our paper argues that people strategically choose whether or not to engage with an AI explanation, demonstrating empirically that there are scenarios where AI explanations reduce overreliance. To achieve this, we formalize this strategic choice in a cost-benefit framework, where the costs and benefits of engaging with the task are weighed against the costs and benefits of relying on the AI. We manipulate the costs and benefits in a maze task, where participants collaborate with a simulated AI to find the exit of a maze. Through 5 studies (N = 731), we find that costs such as task difficulty (Study 1), explanation difficulty (Study 2, 3), and benefits such as monetary compensation (Study 4) affect overreliance. Finally, Study 5 adapts the Cognitive Effort Discounting paradigm to quantify the utility of different explanations, providing further support for our framework. Our results suggest that some of the null effects found in literature could be due in part to the explanation not sufficiently reducing the costs of verifying the AI's prediction.

연구 동기 및 목표

• AI와의 상호작용을 비용-편익 의사결정으로 프레이밍하여 설명이 과도한 의존을 완화할 수 있는지 동기를 부여하고 검증한다.
• 인지적 노력, 작업 난이도, 인센티브가 사용자가 AI 설명과 상호작용하는지 여부에 영향을 주는 비용-편익 프레임워크를 형식화한다.
• 작업 난이도, 설명의 복잡성, 금전적 인센티브를 다르게 구성하여 AI 예측 및 설명에 대한 의존성에 어떤 영향을 미치는지 조사한다.
• 특정 조건에서 설명이 과도한 의존을 줄일 수 있음을 보여주며, 설명이 결코 도움이 되지 않는다는 관점을 도전한다.
• 인지적 노력 할인 패러다임을 사용하여 비용, 이익 및 설명의 유용성 간의 연결 고리를 수량화한다

제안 방법

• 사용자가 과제에 참여하는지(AI를 검증하거나 검증하지 않는 경우) 또는 AI에 의존하는지 사이를 선택하는 비용-편익 프레임워크를 개발한다.
• 다섯 가지 연구에 걸쳐 작업 난이도, 설명 난이도, 금전적 인센티브를 조작하기 위해 시뮬레이션 AI가 있는 미로 해결 과제를 사용한다.
• 두 가지 설명 양식(하이라이트와 서면 설명)을 활용하고 연구 전반에서 AI 정확도를 80%로 균형 있게 유지한다.
• AI가 올바르게 예측했을 때의 정확한 설명과 AI가 잘못할 때의 오해를 유도하는 경로에 대한 설명을 생성하여 검증 행동에 미치는 영향을 연구한다.
• 연구 5에서 과제 참여도, 과제 참여도 및 주관적 효용성 측정과 더불어 자기보고 척도와 인지적 노력 할인 접근법을 보완적으로 사용한다.

실험 결과

연구 질문

• RQ1 사람들이 예측을 검증하고 과도한 의존을 줄이기 위해 AI 설명에 참여하는 조건은 무엇인가?
• RQ2 작업 난이도, 설명 난이도, 금전적 인센티브가 설명에 참여하는 유용성 대 AI 의존성에 어떤 영향을 미치는가?
• RQ3 비용-편익 관점이 설명이 과도한 의존을 감소시키는 경우를 설명할 수 있는가, 그렇지 않은 경우가 아닌가?

주요 결과

• 작업 난이가 증가함에 따라 설명은 예측만으로보다 과도한 의존을 더 크게 감소시킨다.
• 설명을 이해하는 인지적 노력이 낮을수록 과도한 의존 감소가 더 크다.
• 정확성에 대한 더 높은 금전적 보상은 과도한 의존을 감소시켜 참여 전략에 영향을 미친다.
• 이해하기 더 쉬운 설명은 주관적 효용이 더 높아 과제에 참여할 가능성을 높인다.
• 적응된 인지적 노력 할인 패러다임은 이해 비용이 낮은 설명이 더 가치 있게 평가되며, 작업 난이도가 높을수록 설명의 효용이 증가한다.