[논문 리뷰] Understanding the Role of Human Intuition on Reliance in Human-AI Decision-Making with Explanations

Valerie Chen, Q. Vera Liao외 2명|arXiv (Cornell University)|2023. 01. 18.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 연구는 인간의 직관이 설명을 제공하는 AI 예측에 대한 의존도에 어떻게 영향을 미치는지 조사하며, 결과에 대한 직관, 특성에 대한 직관, AI 한계에 대한 직관이라는 세 가지 직관 기반 경로가 잘못된 AI 예측을 수정하는 데 도움이 되는 것을 밝혀냈다. 예시 기반 설명이 특성 기반 설명보다 자연스러운 직관을 유지하고 AI의 신뢰성 저하를 더 잘 감지할 수 있어 인간-AI 협업을 향상시키고 과도한 의존도를 감소시킨다.

ABSTRACT

AI explanations are often mentioned as a way to improve human-AI decision-making, but empirical studies have not found consistent evidence of explanations' effectiveness and, on the contrary, suggest that they can increase overreliance when the AI system is wrong. While many factors may affect reliance on AI support, one important factor is how decision-makers reconcile their own intuition -- beliefs or heuristics, based on prior knowledge, experience, or pattern recognition, used to make judgments -- with the information provided by the AI system to determine when to override AI predictions. We conduct a think-aloud, mixed-methods study with two explanation types (feature- and example-based) for two prediction tasks to explore how decision-makers' intuition affects their use of AI predictions and explanations, and ultimately their choice of when to rely on AI. Our results identify three types of intuition involved in reasoning about AI predictions and explanations: intuition about the task outcome, features, and AI limitations. Building on these, we summarize three observed pathways for decision-makers to apply their own intuition and override AI predictions. We use these pathways to explain why (1) the feature-based explanations we used did not improve participants' decision outcomes and increased their overreliance on AI, and (2) the example-based explanations we used improved decision-makers' performance over feature-based explanations and helped achieve complementary human-AI performance. Overall, our work identifies directions for further development of AI decision-support systems and explanation methods that help decision-makers effectively apply their intuition to achieve appropriate reliance on AI.

연구 동기 및 목표

• 인간의 직관이 인간-AI 의사결정 과정에서 AI 설명과 어떻게 상호작용하는지 이해하는 것.
• 특성 기반 설명이 자주 잘못된 AI 예측에 대한 과도한 의존도를 증가시키는 이유를 조사하는 것.
• 다른 설명 유형(특성 기반 및 예시 기반)이 잘못된 AI 예측일 때 의사결정자가 이를 수정하는 데 어떻게 영향을 미치는지 탐구하는 것.
• 적절한 AI 의존도를 지원하는 직관적 추론 경로를 식별하는 것.
• 인간의 직관을 더 잘 수용하고 과도한 의존도를 줄이는 AI 의사결정 지원 시스템 설계에 통찰을 제공하는 것.

제안 방법

• 두 가지 저위험 의사결정 과제(표 형태 및 텍스트 기반)에서 26명의 참가자를 대상으로 사고를 말하는 혼합 방법 연구를 수행하였다.
• 두 가지 설명 유형을 사용: 특성 기반(특성 가중치)과 예시 기반(라벨가진 유사 과거 사례).
• 참가자가 직관과 AI 예측 및 설명을 어떻게 조율하는지 분석하기 위해 구두로 표현된 사고 과정을 수집하였다.
• 사고를 말하는 전사본에 대한 주제 분석을 수행하여 반복적으로 나타나는 직관 기반 추론 경로를 식별하였다.
• 특성 기반 설명 조건과 예시 기반 설명 조건 간의 의사결정 결과와 의존도 행동을 비교하였다.
• 정량적 분석을 통해 성능 및 과도한 의존도를 평가하였고, 정성적 분석을 통해 인지적 경로를 밝혀냈다.

(a) Feature-based explanation for income prediction.

실험 결과

연구 질문

• RQ1 인간-AI 의사결정 과정에서 의사결정자는 자신의 직관을 어떻게 AI 예측과 설명과 조율하는가?
• RQ2 결과, 특성, 또는 AI 한계에 대한 어떤 종류의 직관이 잘못된 AI 예측을 수정하는 데 의사결정자를 이끄는가?
• RQ3 왜 특성 기반 설명은 자주 잘못된 AI 예측에 대한 과도한 의존도를 증가시키는가?
• RQ4 왜 예시 기반 설명이 특성 기반 설명보다 더 적절한 AI 의존도를 지원하는가?
• RQ5 어떤 인지적 경로가 의사결정 과정에서 효과적인 인간-AI 협업을 가능하게 하는가?

주요 결과

• 강력한 결과에 대한 직관, 특성 기반 직관, 그리고 예측의 신뢰성 저하 신호를 통해 AI 한계를 인식하는 세 가지 명확한 직관 기반 경로가 도출되었다.
• 특성 기반 설명은 참가자의 결과에 대한 직관을 방해하고 특성 기반 직관과 충돌시켜 잘못된 AI 예측에 대한 과도한 의존도를 증가시켰다.
• 예시 기반 설명은 자연스러운 결과에 대한 직관을 유지하고 특성에 대한 인도적 추론을 지원하며, 예측의 불신뢰성에 대한 더 명확한 신호를 제공하여 과도한 의존도를 감소시켰다.
• 예시 기반 설명을 사용한 참가자들은 특성 기반 설명을 사용한 참가자들보다 더 나은 의사결정 결과를 달성했고, 더 보완적인 인간-AI 성능을 보였다.
• 연구는 설명의 효과성이 설명 유형 자체에만 있는 것이 아니라 인간의 직관과 인지 과정과의 일치 여부에 달려 있음을 밝혀냈다.
• 사고를 말하는 데이터는 참가자들이 종종 분석적 해석보다는 통합적이고 경험 기반의 추론에 의존함으로써 특성 기반 설명의 유용성이 떨어지는 경향이 있음을 드러냈다.

(b) Example-based explanation for income prediction.