[논문 리뷰] Understanding the Effects of Miscalibrated AI Confidence on User Trust, Reliance, and Decision Efficacy

Jingshu Li, Yitian Yang외 5명|arXiv (Cornell University)|2024. 02. 12.

Anomaly Detection Techniques and Applications인용 수 8

한 줄 요약

연구는 실험적으로 잘못 보정된 AI 신뢰도가 인간-AI 협업에 해를 끼쳐 남용이나 미사용을 증가시키고, 신뢰 보정 정보가 사람들이 AI 신뢰 편향을 인식하는 데 도움을 줄 수 있지만 의심을 촉진할 수도 있다

ABSTRACT

Providing well-calibrated AI confidence can help promote users' appropriate trust in and reliance on AI, which are essential for AI-assisted decision-making. However, calibrating AI confidence -- providing confidence score that accurately reflects the true likelihood of AI being correct -- is known to be challenging. To understand the effects of AI confidence miscalibration, we conducted our first experiment. The results indicate that miscalibrated AI confidence impairs users' appropriate reliance and reduces AI-assisted decision-making efficacy, and AI miscalibration is difficult for users to detect. Then, in our second experiment, we examined whether communicating AI confidence calibration levels could mitigate the above issues. We find that it helps users to detect AI miscalibration. Nevertheless, since such communication decreases users' trust in uncalibrated AI, leading to high under-reliance, it does not improve the decision efficacy. We discuss design implications based on these findings and future directions to address risks and ethical concerns associated with AI miscalibration.

연구 동기 및 목표

• AI의 과신과 과소신이 인간의 신뢰, AI 제안의 수용, 협업 결과에 어떤 영향을 미치는지 조사한다.
• AI 신뢰도에 대해 정보를 제공하고 성과 피드백을 제공하는지가 신뢰 불일치 인식 향상에 도움이 되는지 확인한다.
• 다른 AI 신뢰 수준에서 신뢰 보정 개입이 인간-AI 협업 효율에 어떤 영향을 미치는지 평가한다.

제안 방법

• AI 신뢰도 수준(비신뢰, 신뢰, 과신)과 신뢰 보정 지원의 유무를 조합한 2 × 3 요인 온라인 실험을 수행한다.
• 참가자가 먼저 판단하고, 그다음 AI 제안과 신뢰도를 본 뒤 최종 결정하는 도시 사진 로컬라이제이션(task)을 사용한다.
• 협업 효율의 지표로서 미사용, 오용, 전환율, 정확도 변화 및 신뢰 태도를 측정한다.
• 보정 그룹에 한해 AI 신뢰도 및 정확도 피드백에 대한 기본 교육을 제공한다.
• ANOVA 및 매개 분석을 사용해 신뢰 불일치, 불신, 미사용, 정확도 변화 간의 연관성을 분석한다.

실험 결과

연구 질문

• RQ1 AI 과신과 AI 과소신이 인간의 AI 신뢰, AI 예측, 그리고 AI의 전반적 역량에 어떤 영향을 미치는가?
• RQ2 신뢰 보정 지원이 인간이 AI 신뢰 불일치를 인식하고 신뢰를 조정하는 데 도움이 되는가?
• RQ3 잘못 보정된 AI 신뢰도가 오용, 미사용, 전환 행동 및 전반적인 협업 효율에 어떤 영향을 주는가?
• RQ4 AI 신뢰 인식이 신뢰 불일치와 협업 결과 간의 관계를 매개하는가?

주요 결과

• 신뢰 보정이 없을 경우, 참가자들은 AI 신뢰도를 잘못 인식하는 경향이 있어 AI가 과신인지 과소신인지에 따라 높은 오용 또는 미사용으로 이어진다.
• 보정이 없는 경우 과신 AI는 오용과 전환율을 증가시키고 최종 정확도 변화는 신뢰가 높은 AI에 비해 감소시킨다.
• 보정이 없는 경우 과소신 AI는 미사용을 증가시키고 전환율 및 최종 정확도 변화는 신뢰가 높은 AI에 비해 감소한다.
• 신뢰 보정이 있을 때 참가자들은 AI 신뢰 편향을 더 잘 인식할 수 있지만 AI 예측에 대한 불신이 증가할 수 있으며 여전히 미사용이 증가하여 협업 효율이 감소할 수 있다.
• AI 신뢰와 AI 예측에 대한 신뢰 태도는 선형적으로 관련되며, 불신은 신뢰 불일치가 미사용과 정확도 결과에 미치는 영향을 매개한다.
• 매개 분석은 오용/미사용이 다양한 그룹에서 AI 신뢰 불일치가 전환율과 최종 정확도에 미치는 영향을 완전히 매개함을 보여준다.