[논문 리뷰] Deciding Fast and Slow: The Role of Cognitive Biases in AI-assisted Decision-making

Charvi Rastogi, Yunfeng Zhang외 4명|arXiv (Cornell University)|2020. 10. 15.

Human-Automation Interaction and Safety인용 수 9

한 줄 요약

이 논문은 인간-AI 의사결정에서 인지 편향, 특히 앵커링 편향(사람들이 AI 예측에 과도하게 의존하는 경향)을 고려한 프레임워크를 제안한다. 시간 기반 탈앵커링 전략과 신뢰도 인지 시간 할당 정책을 도입하였으며, 두 가지 사용자 실험을 통해 인간-AI 협업 성능 향상이 입증되었으며, 특히 AI가 잘못되었거나 낮은 신뢰도일 경우에 두드러진 효과를 보였다.

ABSTRACT

Several strands of research have aimed to bridge the gap between artificial intelligence (AI) and human decision-makers in AI-assisted decision-making, where humans are the consumers of AI model predictions and the ultimate decision-makers in high-stakes applications. However, people's perception and understanding are often distorted by their cognitive biases, such as confirmation bias, anchoring bias, availability bias, to name a few. In this work, we use knowledge from the field of cognitive science to account for cognitive biases in the human-AI collaborative decision-making setting, and mitigate their negative effects on collaborative performance. To this end, we mathematically model cognitive biases and provide a general framework through which researchers and practitioners can understand the interplay between cognitive biases and human-AI accuracy. We then focus specifically on anchoring bias, a bias commonly encountered in human-AI collaboration. We implement a time-based de-anchoring strategy and conduct our first user experiment that validates its effectiveness in human-AI collaborative decision-making. With this result, we design a time allocation strategy for a resource-constrained setting that achieves optimal human-AI collaboration under some assumptions. We, then, conduct a second user experiment which shows that our time allocation strategy with explanation can effectively de-anchor the human and improve collaborative performance when the AI model has low confidence and is incorrect.

연구 동기 및 목표

• 높은 위험도 의사결정에서 인지 편향, 특히 앵커링 편향이 인간-AI 협업을 어떻게 왜곡하는지 이해하는 것.
• 사람들의 인지 왜곡을 포착하기 위해 수학적으로 인지 편향의 영향을 편향이 있는 베이지안 프레임워크를 사용해 모델링하는 것.
• AI 예측에 대한 과도한 의존을 줄이기 위해 시간 기반 탈앵커링 전략을 설계하고 검증하는 것.
• 자원 제약 조건 하에서 인간-AI 팀 성능을 향상시키는 최적의 시간 할당 정책을 개발하는 것.
• AI 예측이 잘못되었거나 불확실할 경우, 신뢰도 기반 설명이 편향을 완화하는 데 얼마나 효과적인지 평가하는 것.

제안 방법

• 인간-AI 상호작용를 모델링하고 인지 편향을 분류하기 위해 관측, 예측, 인식의 세 가지 개념적 공간을 정의한다.
• 시간-비용 트레이드오프로 인해 앵커에서의 조정이 부족한 경우를 반영하는 유한합리성 프레임워크를 사용해 앵커링 편향을 모델링한다.
• 결정 시간이 증가할수록 AI 앵커에 대한 의존도가 감소하는 시간 기반 탈앵커링 전략을 제안한다.
• AI 모델의 신뢰도가 낮을 경우, 특히 잘못된 경우에 더 긴 결정 시간을 할당하는 자원 할당 전략을 설계한다.
• 사람들의 이해를 향상시키고 편향을 줄이기 위해 신뢰도 기반 설명을 시간 할당 정책에 통합한다.
• 다양한 시간 지속 시간과 설명 조건을 대비해 아마존 메카니컬 터크에서 이중 단계 사용자 실험을 수행한다.

실험 결과

연구 질문

• RQ1 결정 시간을 늘일수록 인간-AI 협업 의사결정에서 앵커링 편향은 어떻게 영향을 받는가?
• RQ2 AI 모델이 잘못되었거나 불확실할 경우, 시간 기반 자원 할당 전략이 인간-AI 팀 성능을 향상시킬 수 있는가?
• RQ3 신뢰도 기반 설명은 인간이 AI 예측에 대한 과도한 의존을 줄이는 데 어떤 영향을 미치는가?
• RQ4 관측 공간과 예측 공간에서 앵커링 편향과 확인 편향이 어떻게 다르게 나타나는가?
• RQ5 동적이고 적응형 시간 할당 정책이 정적 또는 AI 전용 의사결정보다 협업 환경에서 얼마나 뛰어난 성능을 보일 수 있는가?

주요 결과

• 시간 기반 탈앵커링 전략은 앵커링 편향을 크게 감소시키며, 결정 시간이 길어질수록 AI 예측과의 일치율이 감소함을 확인하였다.
• 시간 연장과 신뢰도 기반 설명을 조합한 최적의 시간 할당 전략은 인간 전용 및 AI 전용 기준을 초월해 인간-AI 팀 성능을 향상시켰다.
• AI 모델이 잘못된 경우, 신뢰도 설명을 제공함으로써 인간의 실수를 줄이고 결정 정확도를 향상시켰으며, 특히 장시간 결정을 요구하는 조건에서 효과적이었다.
• 도메인 특화 훈련을 거친 후 인간 전용 정확도가 AI 전용 정확도와 유사하여, 일반 참가자를 전문가 행동의 대체 지표로 사용하는 것이 타당함을 검증하였다.
• AI의 신뢰도가 낮고 잘못된 경우에 전략이 가장 효과적이었으며, 이는 설명과 시간 할당이 고위험 상황에서 편향을 공동으로 완화시킴을 시사한다.
• 결과적으로 동적이고 인지 기반 정책이 정적 또는 신뢰 기반 접근보다 더 뛰어난 협업 성능을 달성할 수 있음을 시사한다.