[논문 리뷰] Does the Whole Exceed its Parts? The Effect of AI Explanations on Complementary Team Performance

Gagan Bansal, Tongshuang Wu외 6명|arXiv (Cornell University)|2020. 06. 25.

Big Data and Business Intelligence인용 수 7

한 줄 요약

이 연구는 인공지능(AI) 설명이 보조적인 인간-AI 팀 성과를 향상시키는지 조사한다. 여기서 팀의 성과는 개별 에이전트보다 뛰어나다. 이전 연구와는 달리, AI 신뢰도를 보여주는 것만으로도 성능 향상이 가능하며, 설명이 추가로 정확도를 높이지 못함을 발견했다. 오히려 설명은 정확한지 여부와 관계없이 인간이 AI에 과도하게 의존하게 만들며, 협업 환경에서 신뢰를 유도하는 설명을 설계하는 데 도전 과제를 제기한다.

ABSTRACT

Many researchers motivate explainable AI with studies showing that human-AI team performance on decision-making tasks improves when the AI explains its recommendations. However, prior studies observed improvements from explanations only when the AI, alone, outperformed both the human and the best team. Can explanations help lead to complementary performance, where team accuracy is higher than either the human or the AI working solo? We conduct mixed-method user studies on three datasets, where an AI with accuracy comparable to humans helps participants solve a task (explaining itself in some conditions). While we observed complementary improvements from AI augmentation, they were not increased by explanations. Rather, explanations increased the chance that humans will accept the AI's recommendation, regardless of its correctness. Our result poses new challenges for human-centered AI: Can we develop explanatory approaches that encourage appropriate trust in AI, and therefore help generate (or improve) complementary performance?

연구 동기 및 목표

• AI 설명이 인간-AI 팀에서 팀 정확도가 개별 에이전트보다 높아지는 보완적 성과를 이끌어내는지 조사하기.
• AI와 인간의 성능이 유사한 환경에서, AI 설명이 단순한 전략(예: AI 신뢰도 표시)보다 의미 있는 이점을 제공하는지 테스트하기.
• AI 설명 시스템의 설계 과제를 특정하여, 인간의 독립적 추론을 떨어지게 하거나 신뢰를 왜곡할 수 있는 요소를 규명하기.
• 특히 비우월한 AI 환경에서 설명이 본질적으로 팀 성과를 향상시킨다는 가정을 도전하기.
• 적절한 신뢰와 진정한 상호보완성을 촉진하는 인간-AI 협업을 위한 향후 설명 방법 개발을 안내하기.

제안 방법

• 실제 세계의 세 개의 데이터셋을 대상으로 1,500명 이상의 참가자를 대상으로 한 대규모 사용자 연구를 수행하여 인간-AI 팀 성과를 평가했다.
• AI 정확도를 인간의 기준 수준과 유사하게 유지하기 위해, AI 예측 정확도가 인간 기준과 유사한 샘플을 선택했다.
• 다양한 조건을 비교: AI 추천만, AI 신뢰도 표시, AI 설명(기반은 LIME의 시각화 지도 및 자연어 설명).
• AI의 예측과 설명을 인간이 자신의 결정을 내리기 전에 제시하는 워크플로우를 구현하여 독립적 추론에 미치는 영향을 평가했다.
• 혼합 방법 분석을 활용하여 정량적 정확도 비교와 정성적 피드백(신뢰도 및 추론 과정에 대한 피드백)을 동시에 분석했다.
• 다양한 유형의 설명(예: 반사적, 시각화 기반)의 영향을 평가하여 팀 정확도 및 의사결정 행동에 미치는 영향을 분석했다.

실험 결과

연구 질문

• RQ1 AI 추천에 설명을 제공할 경우, AI와 인간의 성능이 유사한 상황에서 단순히 AI의 신뢰도만 표시하는 것보다 팀 정확도가 높아지는가?
• RQ2 설명이 보완적 성과를 가능하게 하는가? 즉, 팀 정확도가 개별 에이전트의 정확도를 모두 초월하는가? 기준 전략과 비교할 때 어떻게 되는가?
• RQ3 설명은 인간의 AI에 대한 신뢰에 어떤 영향을 미치며, 이 신뢰는 AI 추천의 정확성 여부와 관련이 있는가?
• RQ4 설명의 뜻하지 않은 결과는 무엇인가? 예를 들어, 앵커링 현상 증가나 독립적 추론 감소와 같은 현상은 어떤가?
• RQ5 AI가 뚜렷하게 슈퍼어리어가 아니더라도, 단순히 AI에 대한 의존도를 높이는 것 외에 팀 성과를 향상시키는 설명 전략을 설계할 수 있는가?

주요 결과

• 모든 조건에서 인간-AI 팀이 개별 에이전트보다 뛰어난 보완적 성과를 보였지만, 설명은 단순히 신뢰도만 표시하는 기준 조건보다는 성과 향상이 유의미하게 이루어지지 않았다.
• 설명은 AI 추천을 수용할 확률을 높였으며, 이는 정확한지 여부와 관계없이 적용되었다. 잘못된 AI 예측에 대해서도 수용률이 높아졌다.
• AI가 잘못된 예측을 한 경우, 설명은 팀 정확도에 유의미한 감소를 초래하여 설명의 순기능를 약화시켰다.
• 단순히 AI의 신뢰도 점수만 표시하는 것과 비교해 설명의 순수 개선 효과는 미미했으며 통계적으로 유의미하지 않았다.
• 설명은 특히 AI가 잘못된 경우 인간이 AI에 더 의존하게 만들었으며, 이는 과도한 신뢰와 비판적 평가의 감소 위험을 암시한다.
• 연구 결과는 설명이 본질적으로 인간-AI 협업을 향상시킨다는 가정을 도전하며, 적절하고 맥락에 민감한 신뢰를 촉진하는 설명 설계의 필요성을 강조한다.