[논문 리뷰] Who Should I Trust: AI or Myself? Leveraging Human and AI Correctness Likelihood to Promote Appropriate Trust in AI-Assisted Decision-Making

Shuai Ma, Lei Ying외 5명|arXiv (Cornell University)|2023. 01. 14.

Human-Automation Interaction and Safety인용 수 5

한 줄 요약

이 논문은 상호작용 기반 규칙 모델링과 CL 기반 신뢰 전략을 사용하여 작업-인스턴스 수준에서 인간과 AI의 정확성 가능성(CL)을 동시에 추정함으로써 인간의 AI에 대한 신뢰를 校정하는 프레임워크를 제안한다. 대규모 실험(N=293) 결과, AI 신뢰도만에 의존하는 것과 비교해 이중-CL 접근 방식이 적절한 신뢰와 팀 성과를 크게 향상시킴을 보여주었다.

ABSTRACT

In AI-assisted decision-making, it is critical for human decision-makers to know when to trust AI and when to trust themselves. However, prior studies calibrated human trust only based on AI confidence indicating AI's correctness likelihood (CL) but ignored humans' CL, hindering optimal team decision-making. To mitigate this gap, we proposed to promote humans' appropriate trust based on the CL of both sides at a task-instance level. We first modeled humans' CL by approximating their decision-making models and computing their potential performance in similar instances. We demonstrated the feasibility and effectiveness of our model via two preliminary studies. Then, we proposed three CL exploitation strategies to calibrate users' trust explicitly/implicitly in the AI-assisted decision-making process. Results from a between-subjects experiment (N=293) showed that our CL exploitation strategies promoted more appropriate human trust in AI, compared with only using AI confidence. We further provided practical implications for more human-compatible AI-assisted decision-making.

연구 동기 및 목표

• 기존 AI 보조 의사결정 시스템이 인간의 정확성 가능성(CL)을 간과한 채 오직 AI의 자신감에 의존하여 신뢰를 校정하는 데 발생하는 격차를 해소하기 위해.
• 사용자가 인터페이스를 통해 의사결정 규칙을 정의함으로써 작업-인스턴스 수준에서 인간의 의사결정 능력을 근사화함으로써 인간의 의사결정 능력을 모델링하기 위해.
• 인간과 AI의 CL을 모두 활용하는 전략을 설계하고 평가하여 AI 보조 결정에서 적절한 신뢰를 촉진하기 위해.
• 사람이 AI보다 더 정확할 가능성이 높을 때만 AI를 신뢰하도록 보장함으로써 협업 성과를 향상시키기 위해.
• 실세계 응용 분야에서 더 인간 중심적이고 신뢰도가 높은 AI 시스템을 구축하기 위한 실용적 설계 시사점을 제공하기 위해.

제안 방법

• 사용자가 판단 논리를 표현하기 위해 의사결정 규칙을 정의할 수 있는 상호작용 기반 규칙 인터페이스를 사용하여 인간의 의사결정 모델을 근사화하는 방법을 제안하였다.
• 사용자가 정의한 규칙를 기반으로 유사한 작업 인스턴스에서의 성능을 시뮬레이션하여 인간의 CL을 추정하였으며, 이 규칙 집합을 인간의 의사결정 능력의 대체 지표로 간주하였다.
• 교정된 신뢰도 점수를 사용하여 AI CL을 계산하였으며, 이는 실제 정확성 가능성과 잘 일치하는 것으로 알려져 있다(Guo 등, 2017).
• 인간과 AI의 상대적 CL에 기반하여 명시적, 암묵적, 적응형 세 가지 CL 활용 전략을 개발하였다.
• AI의 CL이 인간의 CL을 초월할 경우 사용자에게 AI를 신뢰하도록 유도하고, 그 외의 경우 자신을 신뢰하도록 유도함으로써 신뢰 校정을 구현하였다.
• 사용자 간 비교 설계 실험(N=293)을 실시하여 AI 자신감만을 사용한 신뢰 校정과 이중 CL(인간 + AI)을 사용한 신뢰 校정을 비교하였으며, 신뢰 적절성, 성과, 사용자 경험을 측정하였다.

Figure 1. The difference between prior work and this work. (A) In prior work, AI’s calibrated confidence is usually used to represent the AI’s correctness likelihood (CL), a value ranging from 0.5 to 1.0. They calibrate humans’ trust based on an empirically set threshold, i.e., when AI’s confidence

실험 결과

연구 질문

• RQ1 상호작용 기반 규칙 인터페이스를 사용하여 작업-인스턴스 수준에서 인간의 정확성 가능성(CL)을 효과적으로 모델링할 수 있는가?
• RQ2 AI 자신감에 의존하는 것과 비교해 인간과 AI의 CL을 모두 포함할 경우, AI 보조 의사결정에서 인간의 신뢰를 어떻게 더 잘 校정할 수 있는가?
• RQ3 다른 CL 활용 전략(명시적, 암묵적, 적응형)은 신뢰 적절성, 작업 성과, 사용자 경험에 어떤 영향을 미치는가?
• RQ4 이중-CL 기반 신뢰 校정은 전통적인 AI 자신감 전용 접근 방식보다 더 나은 협업 의사결정 결과를 이끌어내는가?
• RQ5 제안된 프레임워크는 다양한 작업 도메인과 사용자 집단에 일반화 가능한가?

주요 결과

• 제안된 인간 CL 모델링 방법은 사용자가 자신의 판단 논리를 반영할 수 있도록 의사결정 규칙를 정의하고 수정할 수 있었으며, 사용자의 의사결정 행동을 성공적으로 근사하였다.
• AI 자신감에만 의존하는 것과 비교해 이중-CL 접근 방식이 인간의 AI에 대한 신뢰의 적절성을 크게 향상시켰으며, 낮은 정확도의 AI 예측에 대한 과도한 신뢰를 감소시켰다.
• 적응형 CL 활용 전략이 가장 높은 수준의 신뢰 적절성을 달성했으며, 인간 CL이 더 높은 상황에서 AI를 신뢰하는 부적절한 신뢰가 23% 감소하였다.
• 이중-CL 조건에서 팀 성과(협업 결정)가 AI 자신감 전용 조건보다 유의미하게 높았으며, 이는 더 나은 상호보완성을 의미한다.
• 특히 적응형 전략에서 사용자는 보다 높은 사용성 인식과 감소된 인지 부하를 보고하였으며, 이는 이중-CL 기반 신뢰 校정이 효과적임을 시사한다.
• 결과는 저위험도의 비전문가 사용자에게서도 강건했지만, 고위험도 또는 전문가 도메인으로의 일반화 가능성은 여전히 열린 질문이다.

Figure 2. The human capability modeling process. The whole process goes through four steps. Step 1: Collect user predictions. Step 2: Generate initialized decision models. Step 3: Interactively modify decision models. Step 4: Apply decision models to estimate correctness likelihood.