[논문 리뷰] To Trust or to Think: Cognitive Forcing Functions Can Reduce Overreliance on AI in AI-assisted Decision-making

Zana Buçinca, Maja Barbara Malaya외 1명|arXiv (Cornell University)|2021. 02. 19.

Decision-Making and Behavioral Economics참고 문헌 66인용 수 117

한 줄 요약

인지 강제 기능(CFF)이 단순 설명형 AI 접근법에 비해 AI 보조 의사결정에서 AI에 대한 과도한 의존도를 줄이지만, 더 높은 인지 노력을 요구하고 인지 욕구(NFC) 수준이 높은 개인에게 더 큰 혜택을 준다.

ABSTRACT

People supported by AI-powered decision support tools frequently overrely on the AI: they accept an AI's suggestion even when that suggestion is wrong. Adding explanations to the AI decisions does not appear to reduce the overreliance and some studies suggest that it might even increase it. Informed by the dual-process theory of cognition, we posit that people rarely engage analytically with each individual AI recommendation and explanation, and instead develop general heuristics about whether and when to follow the AI suggestions. Building on prior research on medical decision-making, we designed three cognitive forcing interventions to compel people to engage more thoughtfully with the AI-generated explanations. We conducted an experiment (N=199), in which we compared our three cognitive forcing designs to two simple explainable AI approaches and to a no-AI baseline. The results demonstrate that cognitive forcing significantly reduced overreliance compared to the simple explainable AI approaches. However, there was a trade-off: people assigned the least favorable subjective ratings to the designs that reduced the overreliance the most. To audit our work for intervention-generated inequalities, we investigated whether our interventions benefited equally people with different levels of Need for Cognition (i.e., motivation to engage in effortful mental activities). Our results show that, on average, cognitive forcing interventions benefited participants higher in Need for Cognition more. Our research suggests that human cognitive motivation moderates the effectiveness of explainable AI solutions.

연구 동기 및 목표

• Dual-process 이론을 활용하여 의사결정에서 AI 과도한 의존성을 해결하려고 시도한다.
• 인지 강제 개입이 AI 설명에 대한 의존도를 줄일 수 있는지 조사한다.
• 세 가지 인지 강제 설계를 단순 설명형 AI 접근법 및 비-AI 기초선과 비교한다.
• NFC와 관련된 불평등 측면을 개입 효과에서 감사한다.
• 강제 기능의 효과성과 사용성 간의 트레이드오프를 규명한다.

제안 방법

• 3가지 인지 강제 설계를 2가지 SXAI 조건 및 비-AI 기초선과 비교하는 온라인 실험(N=199)을 설계하고 수행한다.
• AI 설명에 의해 가이드되는 고탄수화물 재료를 저탄수화물 대체품으로 교체하는 영양 기반 과제를 사용한다.
• 특징 기반 설명(탄수화물 감소 및 풍미 유사성)을 제공하는 75% 인식 정확도와 네 가지 상위 대체품을 가진 시뮬레이션 AI를 구현한다.
• 다섯 가지 조건: No AI, SXAI(설명, 불확실성) 및 CFF(On demand, Update, Wait) 를 도입한다.
• 객관적 결과(전반적 성능, 탄수화물 공급원 탐지, 탄수화물 감소, 풍미 유사성, 과도한 의존, 인간 오류)와 주관적 측정(선호도, 신뢰, 정신적 부담, 시스템 복잡성)을 측정한다.
• 혼합효과 모델, Holm-Bonferroni 사후검정, NFC 조절을 위한 피어슨 상관분석으로 분석한다.

(a) explanation (SXAI)

실험 결과

연구 질문

• RQ1 AI 예측이 잘못되었을 때 인지 강제가 SXAI 접근법 대비 AI에 대한 과도한 의존도를 줄이는가?
• RQ2 인지 강제 개입이 전반적인 과제 성능 및 최적 영양 대체와의 정렬을 개선하는가?
• RQ3 개입의 효과성과 사용자 수용성 간의 트레이드오프가 존재하는가?
• RQ4 NFC 수치가 인지 강제 기능의 이점을 조정하여 결과에 불평등을 만들 potential이 있는가?

주요 결과

• CFFs는 SXAI 대비 잘못된 AI 예측에서 과도한 의존도를 현저하게 줄이고 객관적 성능을 개선했다.
• 모든 사례에서 SXAI와 CFF는 비-AI 기초선 대비 성능을 향상시켰다.
• AI 예측이 잘못되었을 때 CFFs는 SXAI보다 탄수화물 공급원 탐지, 탄수화물 감소, 풍미 유사성 및 더 올바른 의사결정을 더 많이 도출했다.
• 트레이드오프가 존재했다: 사용자는 CFF가 더 큰 인지 노력을 요구한다는 점에서 수용성을 낮게 보고했다.
• 개입으로 인한 불평등에 대한 감사에서 NFC 수치가 높은 개인이 평균적으로 CFF의 혜택을 더 많이 받았다.
• 전반적으로 인지적 동기와 같은 인간 요인이 설명 가능한 AI 전략의 효과에 영향을 준다.

(b) uncertainty (SXAI)