[논문 리뷰] Uncalibrated Models Can Improve Human-AI Collaboration

Kailas Vodrahalli, Tobias Gerstenberg외 1명|arXiv (Cornell University)|2022. 02. 12.

Explainable Artificial Intelligence (XAI)인용 수 15

한 줄 요약

이 논문은 인공지능의 신뢰도 점수를 의도적으로 校정하지 않음으로써(실제 정확도보다 더 확신 있는 태도를 취함으로써) 인간-인간지능 협업 성능을 향상시킬 수 있음을 제안한다. 수천 번의 상호작용에서 인간 행동을 학습한 저자는 인간 정확도와 자신감을 극대화하기 위해 AI 신뢰도의 단조적 변환을 최적화하며, 실제 사용자들이 참여한 네 가지 다양한 작업에서 뚜렷한 성과 향상을 입증한다.

ABSTRACT

In many practical applications of AI, an AI model is used as a decision aid for human users. The AI provides advice that a human (sometimes) incorporates into their decision-making process. The AI advice is often presented with some measure of "confidence" that the human can use to calibrate how much they depend on or trust the advice. In this paper, we present an initial exploration that suggests showing AI models as more confident than they actually are, even when the original AI is well-calibrated, can improve human-AI performance (measured as the accuracy and confidence of the human's final prediction after seeing the AI advice). We first train a model to predict human incorporation of AI advice using data from thousands of human-AI interactions. This enables us to explicitly estimate how to transform the AI's prediction confidence, making the AI uncalibrated, in order to improve the final human prediction. We empirically validate our results across four different tasks--dealing with images, text and tabular data--involving hundreds of human participants. We further support our findings with simulation analysis. Our findings suggest the importance of jointly optimizing the human-AI system as opposed to the standard paradigm of optimizing the AI model alone.

연구 동기 및 목표

• 모델 校정을 위한 것이 아니라 인간 사용을 위한 AI 신뢰도 최적화가 협업적 의사결정을 향상시킬 수 있는지 조사하는 것.
• 현재의 AI 시스템이 인간 의사결정 편향을 고려하지 않고 모델을 독립적으로 최적화하는 데서 발생하는 격차를 메우는 것.
• 실증 데이터를 기반으로 한 인간-인간지능 상호작용을 활용해 AI 신뢰도 점수를 변환하여 인간 판단을 더 잘 지원하는 프레임워크를 개발하는 것.
• 보정된 조언보다 보정되지 않은 AI 조언이 인간의 정확도를 높이고 자신감을 더 잘 校정할 수 있음을 검증하는 것.

제안 방법

• 저자는 네 가지 작업(이미지, 텍스트, 표 형식)에서 수천 명의 인간-인간지능 상호작용 데이터를 수집하여 사용자가 AI 조언을 어떻게 통합하는지 모델링한다.
• 사용자가 AI 조언에 따라 자신감과 결정을 어떻게 조정하는지 예측하기 위해 인간 행동 모델을 훈련한다.
• 이 모델을 바탕으로 AI 예측 신뢰도의 단조적 변환을 최적화하여 최종 인간 정확도를 극대화한다.
• 이 변환은 의도적으로 AI가 실제보다 더 확신 있는 것처럼 보이게 하여 '인간-보정된' 조언을 만든다.
• 이 방법은 시뮬레이션을 통해 검증된 후, Prolific을 통한 커뮤니티 기반의 인증된 인적 자원을 활용한 실사용자 실험을 통해 검증된다.
• 또한, 새로운 영국 기반 참가자 집단을 대상으로 시행되어 다문화적 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 의도적으로 AI 신뢰도를 보정하지 않아도 협업적 의사결정 과제에서 인간 성능을 향상시킬 수 있는가?
• RQ2 실증 데이터로부터 유도된 인간 행동 모델은 인간 사용을 위한 최적의 AI 신뢰도 변환을 어떻게 안내하는가?
• RQ3 수정된 AI 조언의 성능 향상 효과가 이미지, 텍스트, 표 형식 등의 다양한 데이터 모odalities와 사용자 집단 전반에 걸쳐 유지되는가?
• RQ4 AI 조언의 정확도가 신뢰도 수정이 인간 성능에 미치는 영향을 조절하는 데 얼마나 중요한가?
• RQ5 제안된 방법은 다른 국가의 참가자 집단과 같은 새로운 사용자 그룹으로 일반화 가능한가?

주요 결과

• 미국 및 영국 참가자들을 대상으로 한 실험에서 수정된 AI 조언은 인간 정확도를 통계적으로 유의미하게 향상시켰다(p = 8.86 × 10⁻³).
• 두 코hort 전반에서 올바른 레이블에 대한 인간 자신감도 유의미하게 향상되었으며(p = 4.43 × 10⁻¹¹), 이는 수정된 조언이 효과가 있음을 시사한다.
• AI 조언이 이미 정확도가 높은 작업(예: 예술 및 도시, 각각 90% 및 87% 정확도)에서 성능 향상 효과가 가장 두드러졌으며, 이는 조언 품질과 신뢰도 수정 간의 상호보완적 상호작용을 보여준다.
• 평균적으로 수정된 조언을 사용할 경우 조언 사용률(activation rate)이 3.3% 향상되어 사용자 참여도가 높아졌음을 나타낸다.
• 시뮬레이션 결과는 실증적 결과와 밀도 있게 일치하여 인간 행동 모델의 예측 능력을 검증한다.
• 결과는 AI 모델을 독립적으로 최적화하는 것보다 인간-인간지능 시스템을 통합적으로 최적화하는 것이 더 나은 실생활 성과를 낳을 수 있음을 시사한다.