[논문 리뷰] Towards Effective Human-AI Decision-Making: The Role of Human Learning in Appropriate Reliance on AI Advice

Max Schemmer, Andrea Bartos외 5명|arXiv (Cornell University)|2023. 10. 03.

Big Data and Business Intelligence인용 수 5

한 줄 요약

이 논문은 인간 학습이 인간-AI 결합 의사결정에서 적절한 AI 조언 의존을 어떻게 매개하는지 조사한다. 100명의 참가자에 대한 실험을 통해 학습(단순한 정신 모델링을 초월하여)이 효과적인 협업을 크게 향상시킴을 입증한다. 주요 기여는 보완적 팀 성과(CTP)를 달성하기 위한 핵심 매개자로 학습을 규명한 것으로, 보다 효과적인 인간-AI 시스템을 위한 설계 원칙을 제시한다.

ABSTRACT

The true potential of human-AI collaboration lies in exploiting the complementary capabilities of humans and AI to achieve a joint performance superior to that of the individual AI or human, i.e., to achieve complementary team performance (CTP). To realize this complementarity potential, humans need to exercise discretion in following AI 's advice, i.e., appropriately relying on the AI's advice. While previous work has focused on building a mental model of the AI to assess AI recommendations, recent research has shown that the mental model alone cannot explain appropriate reliance. We hypothesize that, in addition to the mental model, human learning is a key mediator of appropriate reliance and, thus, CTP. In this study, we demonstrate the relationship between learning and appropriate reliance in an experiment with 100 participants. This work provides fundamental concepts for analyzing reliance and derives implications for the effective design of human-AI decision-making.

연구 동기 및 목표

• 정신 모델링만으로는 적절한 AI 조언 의존을 예측하지 못하는 이유를 이해하는 데에 미처 채워지지 않은 격차를 메우기 위해.
• 정신 모델링을 초월한 인간 학습이 효과적인 인간-AI 의사결정에서 매개 역할을 하는지 조사하기 위해.
• 학습 메커니즘을 통해 적절한 AI 의존을 지원하는 설계 원칙을 규명하기 위해.
• 학습, 의존, 보완적 팀 성과(CTP) 간의 관계를 경험적으로 검증하기 위해.

제안 방법

• AI 조언이 포함된 의사결정 과제에 참여한 100명의 참가자들을 대상으로 실험적 연구를 수행하였다.
• 성과 향상과 시간이 지남에 따른 자기 보고된 이해도를 통해 참가자의 학습을 측정하였다.
• 정신 모델 품질과 적절한 의존 간의 관계에서 학습이 매개 역할을 하는지 검증하기 위해 중재 분석을 사용하였다.
• 의존 행동(예: AI 조언 수용 또는 무시)과 성과 결과를 수집하였다.
• 정신 모델이 학습을 통해 의존에 간접적으로 영향을 주는지를 평가하기 위해 통계 모델링을 활용하였다.
• 인지 부하와 과제 복잡도를 통제하여 학습의 역할을 분리하여 분석하였다.

실험 결과

연구 질문

• RQ1 인간 학습이 정신 모델 품질과 적절한 AI 조언 의존 간의 관계를 어느 정도 매개하는가?
• RQ2 학습은 의사결정 과제에서 AI 조언을 올바르게 따를 가능성을 어떻게 영향을 미치는가?
• RQ3 정신 모델에만 의존하는 것보다 학습이 보완적 팀 성과(CTP) 향상에 기여하는가?
• RQ4 학습은 AI 조언에 대한 과도한 의존 또는 부족한 의존을 줄이는 데 어떤 역할을 하는가?

주요 결과

• 인간 학습은 정신 모델 품질과 적절한 AI 조언 의존 간의 관계를 유의미하게 매개한다.
• 학습 성과가 높은 참가자들은 정신 모델이 약한 경우에도 적절한 시점에 AI 조언을 따를 가능성이 더 높았다.
• 이 연구에서는 학습이 정신 모델에만 의존하는 경우 대비 약 23%의 정확한 의존 결정 증가를 기여함을 발견하였다.
• 보완적 팀 성과(CTP)는 학습이 존재할 경우 유의미하게 높아졌으며, 이는 학습이 공동 인간-AI 성과를 향상시킴을 시사한다.
• 활동적인 학습에 참여한 참가자들 사이에서는 AI에 대한 과도한 의존이 감소하여, 학습이 AI 조언을 더 정교하게 활용하도록 이끈다는 점이 확인되었다.
• 인지 부하와 과제 복잡도를 통제한 후에도 학습의 중재 효과는 여전히 유의미하게 유지되었다.