[논문 리뷰] In AI We Trust? Factors That Influence Trustworthiness of AI-infused Decision-Making Processes

Maryam Ashoori, Justin D. Weisz|arXiv (Cornell University)|2019. 12. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 32인용 수 52

한 줄 요약

본 연구는 AI가 주입된 의사결정에서 신뢰에 영향을 미치는 일곱 가지 요인(의사결정의 이해관계 수준, 의사결정자, 훈련자, 해석 가능성, 학습/테스트 설명, 사회적 투명성, 및 모델 신뢰도)이 신뢰에 어떻게 작용하는지 평가하며, 해석 가능한 모델과 투명한 훈련 데이터가 신뢰를 높인다고 결론짓는다.

ABSTRACT

Many decision-making processes have begun to incorporate an AI element, including prison sentence recommendations, college admissions, hiring, and mortgage approval. In all of these cases, AI models are being trained to help human decision makers reach accurate and fair judgments, but little is known about what factors influence the extent to which people consider an AI-infused decision-making process to be trustworthy. We aim to understand how different factors about a decision-making process, and an AI model that supports that process, influences peoples' perceptions of the trustworthiness of that process. We report on our evaluation of how seven different factors -- decision stakes, decision authority, model trainer, model interpretability, social transparency, and model confidence -- influence ratings of trust in a scenario-based study.

연구 동기 및 목표

• AI가 주입된 의사결정 과정에 대해 신뢰성 인식에 영향을 주는 요인을 식별한다.
• 각 요인이 신뢰의 여러 측면(신뢰도, 신뢰성, 기술적 능력, 이해 가능성, 개인적 애착)에 미치는 영향을 정량화한다.
• 요인 간의 상호작용(예: 의사결정자, 훈련자, 신뢰도)에 따른 신뢰에 대한 효과를 탐구한다.
• 크라우드소싱 참가자 간의 신뢰 인식의 개인 차이를 평가한다.
• 최종 사용자의 정보 요구를 강조하여 신뢰받는 AI 시스템 설계에 대한 가이드를 제공한다.

제안 방법

• 요인 수준의 7요인 시나리오 조합(2x2x2x2x2x2x2)으로 구성된 시나리오 기반 평가.
• Mechanical Turk를 이용한 크라우드소스 평가 연구로 N=320 명의 참가자(참가자당 두 가지 시나리오, 낮은 위험 수준과 높은 위험 수준)
• 신뢰도, 신뢰성, 기술적 능력, 개인적 애착에 대해 4점 Likert 척도로 조정된 척도를 이용한 다면적 신뢰 측정
• 주요 효과와 상호작용을 평가하기 위한 참가자를 랜덤 효과로 하는 ANOVA 및 효과 크기로 부분 제타제곱(partial eta-squared) 보고
• 신뢰 판단의 이면에 있는 이유를 이해하기 위한 개방형 응답에 대한 정성적 분석

실험 결과

연구 질문

• RQ1 일곱 가지 시나리오 요인이 AI가 주입된 의사결정의 서로 다른 신뢰 측면에 어떤 영향을 미치는가?
• RQ2 특히 의사결정자, 훈련자, 및 모델 신뢰도 간의 상호작용이 신뢰를 조정하는가?
• RQ3 이해관계자의 인식과 개인 차이가 신뢰 판단에서 어떤 역할을 하는가?
• RQ4 훈련 데이터의 해석 가능성과 투명성이 높은 위험，包括 높은 위험 및 낮은 위험 의사결정에서 더 높은 신뢰와 연관되는가?

주요 결과

• 해석 가능 모델은 블랙박스 모델보다 신뢰성, 신뢰도, 기술적 능력에 대해 일관되게 더 높은 평가를 받는다.
• 모델이 어떻게 학습되고 테스트되었는지에 대한 정보를 제공하면 신뢰 관련 평가가 크게 증가한다.
• 타인에게 영향을 미치는 의사결정에 관한 정보인 사회적 투명성은 신뢰의 일부 측면에 대해 작지만 긍정적인 영향을 미친다.
• 낮은 위험 수준의 시나리오는 AI가 주입된 프로세스에 대해 더 높은 신뢰를 산출한다.
• AI가 의사결정자인 경우, 인간 데이터 과학자에 의한Training(vs 자동화된 AI)이 신뢰 관련 판단을 증가시키고, 의사결정자가 인간일 때는 트레이너 효과가 더 작다.
• 모델 신뢰도 가시성은 신뢰를 증가시키며, 특히 의사결정자가 AI일 때 그렇다; 신뢰 정보의 부재는 신뢰를 감소시킨다.