[논문 리뷰] To Trust or Not to Trust a Regressor: Estimating and Explaining Trustworthiness of Regression Predictions

Kim de Bie, Ana Lučić외 1명|arXiv (Cornell University)|2021. 04. 14.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 지도 학습의 정답 레이블이 존재하지 않는 환경에서 회귀 예측의 신뢰도를 추정하고 설명하는 RETRO-VIZ를 소개한다. RETRO는 예측 오차와 상관관계가 있는 정량적 신뢰도 점수를 제공하며, VIZ는 예측과 그 가장 가까운 이웃 간의 격차를 강조하여 사용자가 예측이 왜 신뢰할 수 없는지 파악할 수 있도록 시각적 설명을 제공한다. 사용자 연구를 통해 RETRO 점수와 VIZ 플롯이 사용자의 탐지 능력을 신뢰할 수 있는 예측과 그렇지 않은 예측 모두에서 유의하게 향상시켰음을 입증하였다.

ABSTRACT

In hybrid human-AI systems, users need to decide whether or not to trust an algorithmic prediction while the true error in the prediction is unknown. To accommodate such settings, we introduce RETRO-VIZ, a method for (i) estimating and (ii) explaining trustworthiness of regression predictions. It consists of RETRO, a quantitative estimate of the trustworthiness of a prediction, and VIZ, a visual explanation that helps users identify the reasons for the (lack of) trustworthiness of a prediction. We find that RETRO-scores negatively correlate with prediction error across 117 experimental settings, indicating that RETRO provides a useful measure to distinguish trustworthy predictions from untrustworthy ones. In a user study with 41 participants, we find that VIZ-explanations help users identify whether a prediction is trustworthy or not: on average, 95.1% of participants correctly select the more trustworthy prediction, given a pair of predictions. In addition, an average of 75.6% of participants can accurately describe why a prediction seems to be (not) trustworthy. Finally, we find that the vast majority of users subjectively experience RETRO-VIZ as a useful tool to assess the trustworthiness of algorithmic predictions.

연구 동기 및 목표

• 정답 오차가 알려져 있지 않은 회귀 모델에서 개별 예측의 신뢰도 추정이 부족한 문제를 해결하기 위해.
• 신뢰도를 정량적으로 추정하고 예측이 왜 신뢰할 수 없는지에 대한 실질적인 설명을 제공하는 방법을 개발하기 위해.
• 실제 하이브리드 인간-AI 의사결정 환경에서 제안된 방법을 사용해 사용자가 신뢰할 수 있는 예측과 그 이유를 효과적으로 식별할 수 있는지 평가하기 위해.
• 특히 실무에서 사용되는 복잡한 모델을 대상으로 신뢰도 추정과 설명 가능성 간 격차를 메우기 위해.

제안 방법

• RETRO는 참조 데이터셋에서의 가장 가까운 이웃들의 예측과 모델의 예측 간 일관성을 측정함으로써 신뢰도 점수를 계산한다.
• 이 방법은 유사한 입력은 유사한 출력을 내야 한다는 사례 기반 추론 원리를 활용하며, 예측의 이탈 정도를 불신뢰도의 척도로 정량화한다.
• VIZ는 테스트 인스턴스와 그 가장 가까운 이웃들을 함께 플로팅하여 기능 유사성과 예측의 차이를 강조함으로써 시각적 설명을 생성한다.
• RETRO 점수는 0(신뢰할 수 없음)에서 1(신뢰할 만함) 사이의 범위를 가지며, 낮은 점수일수록 높은 예측 오차를 의미한다.
• 이 방법은 모델에 종속되지 않으며, 특성 공간과 예측 출력만을 기반으로 하므로 어떤 회귀 모델에도 적용 가능하다.
• 이 방법은 모델 아키텍처, 데이터 차원, 오류 유형에 따라 다양한 조건에서의 분석 및 41명의 참가자가 참여한 사용자 연구를 통해 평가되었다.

실험 결과

연구 질문

• RQ1 RQ1: RETRO 점수는 예측 오차와 상관관계가 있는가? 만약 그렇다면, 그 상관관계는 얼마나 강한가?
• RQ2 RQ2: 다양한 모델 아키텍처, 데이터 차원, 오류 원인 조건에서 RETRO는 어떤 상황에서 가장 잘 성능을 내는가?
• RQ3 RQ3: VIZ 설명은 사용자가 예측이 신뢰할 수 있는지, 그리고 그 이유를 객관적으로 파악하는 데 도움이 되는가?
• RQ4 RQ4: 사용자들은 실무에서 VIZ 설명을 실제로 유용하다고 평가하는가?

주요 결과

• 모든 117개의 실험 설정에서 RETRO 점수는 예측 오차와 유의미한 음의 상관관계를 보였으며, 이는 낮은 점수가 더 높은 오차를 의미함을 확인하였다.
• 41명의 참가자가 참여한 사용자 연구에서 VIZ 플롯은 RETRO 점수를 제공받지 못한 상태에서도 사용자의 탐지 능력을 신뢰할 수 있는 예측과 그 이유를 파악하는 데 유의미하게 향상시켰다.
• 대부분의 사용자(유의수준 p ≤ 0.05)는 VIZ 플롯이 이해하기 쉬우며, 신뢰도 탐지에 도움이 되고 실무 의사결정에 유용하다고 평가했다.
• 사용자들은 VIZ 플롯만으로도 신뢰할 수 있는 예측과 그렇지 않은 예측을 구분할 수 있었으며, 이는 시각적 설명이 독립적인 신뢰도 지표로 기능할 수 있음을 시사한다.
• 주관적 평가 결과, 사용자들은 VIZ 플롯을 통해 예측 신뢰도를 이해하는 데 매우 만족했지만, 추가 도구가 필요한지 여부에 대해서는 유의미한 차이를 발견하지 못했다.
• 결과적으로 RETRO-VIZ는 정량적 신뢰도 추정과 해석 가능한 시각 피드백을 결합함으로써 인간-AI 협업을 효과적으로 지원함을 입증하였다.