[논문 리뷰] The Response Shift Paradigm to Quantify Human Trust in AI Recommendations

Ali Shafti, Victoria Derks외 2명|arXiv (Cornell University)|2022. 02. 16.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 인간의 인공지능 추천에 대한 신뢰를 측정하기 위해 '반응 이동'(response shift)—사용자의 초깃결정과 AI의 추천 및 설명을 본 후의 최종 결정 사이의 변화—를 추적하는 정량적 히ュ먼인더루프 파라다임을 도입한다. 이 방법은 설명 가능 인공지능 시스템에 대한 객관적이고 지속적이며 확장 가능한 평가를 가능하게 하며, 설명 품질이 신뢰에 상당한 영향을 미친다는 것을 드러내며, 기계학습을 통해 인공지능의 신뢰성 향상에 활용할 수 있는 인간의 결정 변화를 측정할 수 있다.

ABSTRACT

Explainability, interpretability and how much they affect human trust in AI systems are ultimately problems of human cognition as much as machine learning, yet the effectiveness of AI recommendations and the trust afforded by end-users are typically not evaluated quantitatively. We developed and validated a general purpose Human-AI interaction paradigm which quantifies the impact of AI recommendations on human decisions. In our paradigm we confronted human users with quantitative prediction tasks: asking them for a first response, before confronting them with an AI's recommendations (and explanation), and then asking the human user to provide an updated final response. The difference between final and first responses constitutes the shift or sway in the human decision which we use as metric of the AI's recommendation impact on the human, representing the trust they place on the AI. We evaluated this paradigm on hundreds of users through Amazon Mechanical Turk using a multi-branched experiment confronting users with good/poor AI systems that had good, poor or no explainability. Our proof-of-principle paradigm allows one to quantitatively compare the rapidly growing set of XAI/IAI approaches in terms of their effect on the end-user and opens up the possibility of (machine) learning trust.

연구 동기 및 목표

• 인간의 인공지능 추천에 대한 신뢰를 측정하기 위한 정량적, 객관적, 확장 가능한 방법을 개발하는 것.
• 다양한 수준의 인공지능 설명 가능성과 시스템 품질이 인간의 의사결정 이동에 어떤 영향을 미치는지 평가하는 것.
• 인간의 선택에 대한 인공지능 추천의 영향을 정량화함으로써 기계학습을 통한 신뢰 최적화를 위한 피드백 루프를 만드는 것.
• 자기 보고 기반의 주관적 평가를 넘어서, 인간-인공지능 상호작용에서 지속적이고 행동 기반의 신뢰 지표를 사용하는 것.
• 감독 회귀 작업 전반에 적용 가능한 일반 목적의 프로토콜을 제공하여 XAI/IAI 시스템 평가에 기여하는 것.

제안 방법

• 이 파라다임은 세 단계로 구성된 히ュ먼인더루프 프로토콜을 사용한다: 첫째, 사용자가 초깃값을 제출한다; 둘째, AI의 추천과 설명을 시청한다; 셋째, 자신의 예측을 재수정한다.
• 핵심 지표는 '반응 이동'—초기 반응과 최종 반응 사이의 연속적인 차이—로서, 인공지능의 인간 결정에 대한 영향을 정량화한다.
• 이 방법은 베이지안 의사결정 이론에 기반하며, 인간의 결정을 새로운 정보(인공지능에서 제공하는 정보)에 기반한 확률적 갱신으로 모델링한다.
• 실험은 수백 명의 사용자를 대상으로 아마존 메카니컬 터크에서 수행되었으며, 학생 성적을 예측하기 위해 표형 데이터를 사용했다.
• 설계는 인공지능 품질(좋음 vs. 열 劣)과 설명 가능성(좋음, 열 劣, 또는 설명 없음)을 통제하여 체계적인 비교를 가능하게 한다.
• 반응 이동은 기계학습을 통해 인공지능의 신뢰성 향상을 위해 최적화할 수 있는 측정 가능한 연속 신호로 간주된다.

실험 결과

연구 질문

• RQ1 인공지능 설명의 품질이 인공지능 추천에 대한 인간의 의사결정 이동의 크기에 어떤 영향을 미치는가?
• RQ2 인공지능 시스템의 성능(좋음 vs. 열 劣)이 반응 이동을 통해 측정된 인간의 신뢰에 어느 정도 영향을 미치는가?
• RQ3 자기 보고에 의존하지 않고 인간-인공지능 상호작용에서 지속적이고 행동 기반의 신뢰 지표를 신뢰성 있게 추출할 수 있는가?
• RQ4 인공지능 시스템을 사용한 학습 경험은 반응 이동과 신뢰 형성에 어떤 영향을 미치는가?
• RQ5 반응 이동 신호를 사용하여 인공지능 설명의 기울기 기반 최적화를 통해 인간의 신뢰를 향상시킬 수 있는가?

주요 결과

• 반응 이동 지표는 인공지능 추천이 인간의 결정에 미치는 영향을 성공적으로 정량화하며, 지속적이고 객관적인 신뢰 측정 지표를 제공한다.
• 설명 품질이 반응 이동에 상당한 영향을 미쳤으며, 고급 품질의 설명은 낮은 품질이나 설명이 없는 경우보다 더 크고 일관된 결정 변화를 유도했다.
• 인공지능이 정확할 경우, 설명이 약할지라도 사용자가 인공지능 추천에 결정을 더 많이 기울였으며, 이는 신뢰 형성에서 성능가 설명 품질을 초월한다는 것을 시사한다.
• 이 방법은 잘못된 인공지능 시스템에 대해 사용자가 잘못된 신뢰를 갖는 경우를 드러내었으며, 특히 잘 구성된 외관을 지닌 잘못된 설명이 신뢰를 유도하는 위험을 보여주었다.
• 반응 이동 신호는 인공지능 시스템 품질과 설명 유형 간의 차이를 감지할 수 있을 정도로 충분한 변동성과 민감성을 보였으며, 신뢰성 있는 평가 지표로 사용될 수 있음을 검증했다.
• 이 프레임워크는 기계학습 파이프라인에 피드백을 제공할 수 있으며, 측정 가능한 인간의 반응 이동을 바탕으로 인공지능 설명의 최적화를 가능하게 한다.