[논문 리뷰] Roadmap of Designing Cognitive Metrics for Explainable Artificial Intelligence (XAI)

Janet H. Hsiao, Hilary Hei Ting Ngai외 3명|arXiv (Cornell University)|2021. 07. 20.

Explainable Artificial Intelligence (XAI)인용 수 15

한 줄 요약

이 논문은 심리학 및 인지과학 원리를 통합하여 설명 가능한 인공지능(XAI) 시스템을 평가하기 위한 인지적 지표 로드맵을 제안한다. 잘함, 만족도, 이해도, 호기심, 신뢰도, 통제 가능성, 학습 곡선의 일곱 가지 핵심 차원을 식별하여 사용자 이해도와 시스템 효과성을 정량화할 수 있는 주관적 및 객관적 측정치를 제시하며, 이는 시각 분류 XAI 시스템에 적용된 바가 있다.

ABSTRACT

More recently, Explainable Artificial Intelligence (XAI) research has shifted to focus on a more pragmatic or naturalistic account of understanding, that is, whether the stakeholders understand the explanation. This point is especially important for research on evaluation methods for XAI systems. Thus, another direction where XAI research can benefit significantly from cognitive science and psychology research is ways to measure understanding of users, responses and attitudes. These measures can be used to quantify explanation quality and as feedback to the XAI system to improve the explanations. The current report aims to propose suitable metrics for evaluating XAI systems from the perspective of the cognitive states and processes of stakeholders. We elaborate on 7 dimensions, i.e., goodness, satisfaction, user understanding, curiosity & engagement, trust & reliance, controllability & interactivity, and learning curve & productivity, together with the recommended subjective and objective psychological measures. We then provide more details about how we can use the recommended measures to evaluate a visual classification XAI system according to the recommended cognitive metrics.

연구 동기 및 목표

• 기술적 성능을 초월하여 이해관계자의 인지 상태에 중점을 두어 XAI 시스템 평가의 격차를 해소하기 위해.
• XAI 상호작용에서 사용자 이해도, 신뢰도, 참여도의 측정 가능한 차원을 식별하고 정의하기 위해.
• XAI 연구와 인지과학, 심리학을 연결하여 경험적으로 기반을 둔 평가 지표를 개발하기 위해.
• 주관적 및 객관적 심리측정 지표를 모두 활용하여 설명 품질을 측정할 수 있는 실용적 프레임워크를 제공하기 위해.
• 이러한 지표들이 시각 분류 작업에서 실제 XAI 시스템을 평가하는 데 어떻게 적용될 수 있는지 보여주기 위해.

제안 방법

• 잘함, 만족도, 사용자 이해도, 호기심 및 참여도, 신뢰도 및 의존성, 통제 가능성 및 상호작용성, 학습 곡선 및 생산성의 일곱 가지 핵심 인지 차원을 식별한다.
• 각 인지 차원을 기존의 심리측정 기법과 연결하며, 주관적 자기 보고 척도와 객관적 행동 지표를 모두 포함한다.
• 인지 부하, 정신 모델 형성, 신뢰 조정 이론 등의 인지과학 이론을 지표 설계에 통합한다.
• 실제 시각 분류 XAI 시스템에 제안된 지표를 적용하여 타당성과 실용성을 입증한다.
• 혼합 방법 평가를 활용: 예를 들어, 작업 후 설문지와 함께 상호작용 로깅 및 작업 성과 추적을 통합한다.
• 사용자 반응과 XAI 시스템 개선 간의 반복 피드백 루프를 통해 지표 프레임워크의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 인지과학 원리는 어떻게 체계적으로 XAI 시스템 평가를 위한 지표 설계에 적용될 수 있는가?
• RQ2 사용자가 AI 설명에 대해 이해도와 신뢰도를 어떻게 인지하는가를 가장 정확하게 반영하는 심리적 차원은 무엇인가?
• RQ3 사용자 인지 상태의 변화를 가장 잘 포착하는 주관적 및 객관적 측정치는 무엇인가?
• RQ4 이러한 지표들은 어떻게 실질적인 XAI 시스템 평가에 구현되고 적용될 수 있는가?
• RQ5 이러한 지표들은 사용자 피드백에 기반한 XAI 설명의 반복적 개선을 어떻게 지원하는가?

주요 결과

• 제안된 인지적 지표 프레임워크는 정확도나 충실도를 초월하여 XAI 시스템을 종합적으로 이론 기반으로 평가할 수 있는 접근법을 제공한다.
• 작업 후 만족도 및 신뢰도 설문지와 같은 주관적 측정치는 설명 품질에 대한 사용자 인식을 효과적으로 포착한다.
• 작업 완료 시간, 오류율, 상호작용 빈도와 같은 객관적 지표는 인지 부하와 이해도 수준과 상관관계가 있다.
• 호기심과 참여도 측정의 통합은 상호작용적이고 동적인 설명이 더 높은 사용자 참여도와 유지도를 이끌 수 있음을 드러낸다.
• 사용자가 설명을 통제하고 반복적 탐색을 가능하게 할 경우 학습 곡선이 향상됨을 확인할 수 있다.
• 이 프레임워크는 실시간 사용자 인지 반응에 기반해 설명을 적응시킬 수 있는 실질적인 피드백 루프를 가능하게 한다.