[논문 리뷰] On the Influence of Explainable AI on Automation Bias

Max Schemmer, Niklas Kühl외 2명|arXiv (Cornell University)|2022. 04. 19.

Explainable Artificial Intelligence (XAI)인용 수 16

한 줄 요약

이 연구는 인간-AI 결정보조에서 자동화 편향(인공지능 권고에 대한 과도한 의존)을 줄이기 위해 해석가능한 인공지능(XAI)이 효과적인지 조사한다. 호텔 리뷰 분류에 대한 온라인 실험을 통해 XAI가 특히 설명이 정확하고 실행 가능할 경우 과도한 AI 의존을 뚜렷이 감소시킴을 발견하여, 안전한 하이브리드 지능 시스템에 기여한다.

ABSTRACT

Artificial intelligence (AI) is gaining momentum, and its importance for the future of work in many areas, such as medicine and banking, is continuously rising. However, insights on the effective collaboration of humans and AI are still rare. Typically, AI supports humans in decision-making by addressing human limitations. However, it may also evoke human bias, especially in the form of automation bias as an over-reliance on AI advice. We aim to shed light on the potential to influence automation bias by explainable AI (XAI). In this pre-test, we derive a research model and describe our study design. Subsequentially, we conduct an online experiment with regard to hotel review classifications and discuss first results. We expect our research to contribute to the design and development of safe hybrid intelligence systems.

연구 동기 및 목표

• 해석가능한 인공지능(XAI)이 인간-AI 결정보조 맥락에서 자동화 편향을 완화할 수 있는지 조사하는 것.
• 다양한 유형의 인공지능 설명이 인간의 신뢰와 자동화된 권고에 대한 의존도에 미치는 영향을 탐구하는 것.
• 의료 및 금융과 같은 고위험 분야에서 더 안전하고 투명한 하이브리드 지능 시스템 설계에 기여하는 것.
• XAI, 인간 인지, 자동화 편향 간의 상호작용을 이해하기 위한 연구 모델을 개발하고 시험하는 것.
• 특히 전문가가 아닌 결정보조 환경에서 XAI가 과도한 AI 의존을 줄이는 데 효과적인지에 대한 실증적 증거를 제공하는 것.

제안 방법

• 참가자들이 AI 보조 기능을 사용하여 호텔 리뷰를 분류하는 온라인 실험을 실시함.
• XAI 유무를 비교하고, 설명의 품질과 정확성 수준을 다양화함.
• 인간 결정보조에 대한 영향을 분리하기 위해 통제된 실험 설계를 적용함.
• 결정 정확도, AI 의존도, AI 권고에 대한 신뢰도를 수집함.
• XAI가 다양한 설명 유형에서 자동화 편향에 미치는 영향을 평가하기 위해 통계 분석을 적용함.
• 연구 설계를 안내하기 위해 인간-컴퓨터 상호작용 이론과 인지 신뢰 이론을 기반으로 한 연구 모델을 개발함.

실험 결과

연구 질문

• RQ1 인공지능이 설명을 제공할 경우 인간 결정보조에서 자동화 편향이 감소하는가?
• RQ2 인공지능 설명의 품질과 정확성이 인간의 AI 권고에 대한 의존도에 어떻게 영향을 미치는가?
• RQ3 특정 유형의 설명이 AI에 대한 과도한 의존을 줄이는 데 더 효과적인가?
• RQ4 AI 권고가 잘못되었을 때 XAI는 인간의 결정보정 정확도에 어떻게 영향을 미치는가?
• RQ5 권고가 잘못되었더라도 설명이 제공될 경우 사용자는 얼마나 더 AI를 신뢰하게 되는가?

주요 결과

• 해석가능한 인공지능(XAI)의 존재가 자동화 편향을 뚜렷이 감소시켰으며, 특히 설명이 정확하고 실행 가능할 경우 더욱 두드러졌다.
• 설명이 제공된 경우 참가자들은 잘못된 AI 권고를 더 적게 수용하는 경향을 보여, 과도한 의존이 줄어들었다.
• 고품질의 설명은 설명이 없거나 저품질의 설명보다 더 높은 결정보정 정확도를 이끌어냈다.
• 설명이 투명하고 논리적으로 일관될 경우 사용자들은 권고가 잘못되었더라도 AI에 대해 더 높은 신뢰를 보였다.
• XAI의 효과는 설명이 AI 결정보조의 근거를 이해하는 데 도움이 되는 조건에서 가장 두드러졌다.
• 설명을 받은 참가자들은 AI 오류를 더 잘 탐지하고 수정하는 경향이 있었으며, 이는 인간-AI 협업의 향상이 확인되었다.