[논문 리뷰] Human-Aligned Calibration for AI-Assisted Decision Making

Nina L. Corvelo Benz, Manuel Gomez-Rodriguez|arXiv (Cornell University)|2023. 05. 31.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 인간의 신뢰 패턴과 일치하는 보정 기법을 제안한다. 이는 신뢰도 점수를 인간의 의사결정자들이 어떻게 신뢰하는지와 일치하도록 조정하여, AI 보조 의사결정의 질을 향상시키는 것이다. 인간의 신뢰도에 대해 다중보정(multicalibration)을 보장함으로써, 단조적 신뢰 행동을 가능하게 하여, 표준 보정 방식보다 네 가지 실제 작업에서 의사결정의 질을 향상시킨다.

ABSTRACT

Whenever a binary classifier is used to provide decision support, it typically provides both a label prediction and a confidence value. Then, the decision maker is supposed to use the confidence value to calibrate how much to trust the prediction. In this context, it has been often argued that the confidence value should correspond to a well calibrated estimate of the probability that the predicted label matches the ground truth label. However, multiple lines of empirical evidence suggest that decision makers have difficulties at developing a good sense on when to trust a prediction using these confidence values. In this paper, our goal is first to understand why and then investigate how to construct more useful confidence values. We first argue that, for a broad class of utility functions, there exist data distributions for which a rational decision maker is, in general, unlikely to discover the optimal decision policy using the above confidence values -- an optimal decision maker would need to sometimes place more (less) trust on predictions with lower (higher) confidence values. However, we then show that, if the confidence values satisfy a natural alignment property with respect to the decision maker's confidence on her own predictions, there always exists an optimal decision policy under which the level of trust the decision maker would need to place on predictions is monotone on the confidence values, facilitating its discoverability. Further, we show that multicalibration with respect to the decision maker's confidence on her own predictions is a sufficient condition for alignment. Experiments on four different AI-assisted decision making tasks where a classifier provides decision support to real human experts validate our theoretical results and suggest that alignment may lead to better decisions.

연구 동기 및 목표

• AI 보조 의사결정에서 인간의 의사결정자가 표준 보정된 신뢰도 점수를 이해하는 데 어려움을 겪는다는 경험적 문제를 해결하기 위해.
• 신뢰 동역학을 분석하기 위해 인간과 AI 예측 간의 상호작용을 기술하는 구조적 인과 모델(SCM)을 사용해 AI 보조 의사결정을 수식화하기 위해.
• 합리적인 사용자가 최적의 의사결정 정책을 수립할 수 있도록 보장하지 못하는 보정된 신뢰도 값이 실패하는 조건을 규명하기 위해.
• 단조적 신뢰 행동과 최적의 의사결정을 보장하는 새로운 정렬 성질인 인간-정렬(human-alignment)을 제안하기 위해.
• 실제 실험을 통해 인간-정렬된 신뢰도가 표준 보정보다 더 나은 의사결정을 이끌어내는지 검증하기 위해.

제안 방법

• 인간과 AI 예측 간의 상호작용을 나타내기 위해 AI 보조 의사결정을 구조적 인과 모델(SCM)을 사용해 수식화한다.
• 의사결정자가 AI 예측에 부여하는 신뢰도 수준이 제공된 신뢰도 값에 대해 단조적으로 증가하는 성질을 인간-정렬(human-alignment)로 정의한다.
• 인간의 자체 신뢰도에 대해 다중보정이 이루어지면 인간-정렬을 달성하는 데 충분한 조건임을 보여준다.
• λ-이산화와 반복 정밀 조정을 통해 보정 점수를 조정하는 후처리 알고리즘을 제안하여 (α + λ)-다중보정을 달성한다.
• 실제 구현을 위해 미분적 보안과 적응형 데이터 분석 도구를 사용해 기대값과 확률을 경험적으로 추정한다.
• 네 가지 실제 AI 보조 의사결정 작업의 데이터셋을 사용하여 원시 신뢰도 점수를 [0,1] 스케일로 변환하고 의사결정 정책을 비교한다.

실험 결과

연구 질문

• RQ1 합리적인 인간 사용자에게 있어 표준 보정된 신뢰도 값이 최적의 의사결정을 지원하지 못하는 조건는 무엇인가?
• RQ2 어떤 신뢰도 점수 성질이 합리적인 의사결정자가 AI 예측에 대해 일관되고 정확하게 신뢰를 조절할 수 있도록 보장하는가?
• RQ3 인간의 신뢰도에 대해 다중보정을 사용하여 인간의 의사결정 행동과 일치하는 신뢰도 값을 구성할 수 있는가?
• RQ4 인간-정렬된 신뢰도는 실제 AI 보조 작업에서 의사결정 성능을 향상시키는가?
• RQ5 정렬이 달성되었을 때, 인간 의사결정자가 AI 예측에 대한 신뢰 수준이 제공된 신뢰도 값에 대해 단조적으로 증가하는가?

주요 결과

• 다양한 유틸리티 함수의 광범위한 클래스에서, 표준 보정된 신뢰도 값은 합리적인 의사결정자를 오도시켜 최적의 의사결정을 내리는 것을 불가능하게 할 수 있다.
• 인간-정렬은 신뢰도가 증가함에 따라 신뢰도가 단조적으로 증가하는 최적의 의사결정 정책이 존재하도록 보장하여 탐색 가능성과 사용성 향상에 기여한다.
• 인간의 자체 신뢰도에 대해 다중보정은 인간-정렬을 달성하는 데 충분한 조건이다.
• 네 가지 실제 AI 보조 의사결정 작업에 대한 실험 결과, 인간-정렬된 신뢰도를 가진 분류기가 표준 보정된 신뢰도를 가진 분류기보다 더 나은 의사결정 성능을 보였다.
• 결과는 정렬이 달성되었을 때 인간 의사결정자의 신뢰 수준이 분류기의 신뢰도 값에 대해 단조적으로 증가함을 보여준다.
• 후처리 알고리즘은 원시 신뢰도 점수를 (α + λ)-다중보정을 만족하는 인간-정렬된 값으로 성공적으로 변환하여 의사결정 결과를 향상시켰다.