[논문 리뷰] Metrics for Explainable AI: Challenges and Prospects

Robert R. Hoffman, Shane T. Mueller외 2명|arXiv (Cornell University)|2018. 12. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 107인용 수 220

한 줄 요약

본 논문은 설명 품질, 사용자 만족도와 이해도, 호기심 기반의 설명 탐색, 적절한 신뢰와 의존성, 그리고 전반적인 인간-XAI 시스템 성능을 측정하는 방법을 검토하여 XAI를 평가하는 방법을 조사합니다. 심리계측학과 문헌 통합에 기초합니다.

ABSTRACT

The question addressed in this paper is: If we present to a user an AI system that explains how it works, how do we know whether the explanation works and the user has achieved a pragmatic understanding of the AI? In other words, how do we know that an explanainable AI system (XAI) is any good? Our focus is on the key concepts of measurement. We discuss specific methods for evaluating: (1) the goodness of explanations, (2) whether users are satisfied by explanations, (3) how well users understand the AI systems, (4) how curiosity motivates the search for explanations, (5) whether the user's trust and reliance on the AI are appropriate, and finally, (6) how the human-XAI work system performs. The recommendations we present derive from our integration of extensive research literatures and our own psychometric evaluations.

연구 동기 및 목표

• Explainable AI (XAI) 평가의 필요성을 촉진하여 실용적 사용자 이해를 보장한다.
• XAI 평가의 핵심 측정 대상 식별(설명 품질, 사용자 만족도, 이해도, 호기심, 신뢰/의존성, 시스템 성능).
• 광범위한 문헌과 심리계측 연구에서의 통찰을 종합하여 평가 관행을 guidance한다.

제안 방법

• XAI 및 측정에 관한 다양한 연구 문헌을 통합한다.
• 심리계측 평가 및 사용자 연구에 기반한 평가 개념과 영역을 제안한다.
• 사용자–AI 설명 루프의 다면적 평가를 위한 권고를 제시한다.

실험 결과

연구 질문

• RQ1 AI 시스템이 제공하는 설명의 품질을 어떻게 평가할 수 있는가?
• RQ2 설명에 대한 사용자의 만족도는 얼마나 높으며, 그것이 이해도와 어떤 관련이 있는가?
• RQ3 설명이 추가 정보 탐색에 대한 호기심을 얼마나 자극하는가?
• RQ4 설명에 비추어 사용자의 신뢰와 의존성은 적합한가?
• RQ5 인간–XAI 작업 시스템을 전체로 어떻게 평가해야 하는가?

주요 결과

• 설명 품질, 사용자 만족도, 이해도, 호기심, 신뢰/의존성, 시스템 수준 성능에 걸친 측정 대상 집합을 제공한다.
• 광범위한 문헌 및 심리계측 평가를 통합하여 XAI 측정에 대한 실용적 권고를 도출한다.
• 합성된 근거와 평가 패러다임에 기반한 XAI 효과 평가를 위한 구체적 권고를 제시한다.