[논문 리뷰] Towards Human-centered Explainable AI: A Survey of User Studies for Model Explanations

Yao Rong, Tobias Leemann외 7명|arXiv (Cornell University)|2022. 10. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 224인용 수 7

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI) 분야의 97개 사용자 연구를 체계적으로 분석하여 신뢰, 이해도, 사용성, 인간-AI 협업 성과 등의 핵심 평가 차원을 규명한다. 인간 중심의 접근을 고려한 XAI 사용자 연구 설계를 위한 실용적이고 실천 가능한 지침을 제안하며, 평가의 철학적 타당성과 실제 적용 가능성을 높이기 위해 인지과학 및 사회과학의 통합이 필요하다고 강조한다.

ABSTRACT

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 97core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, usability, and human-AI collaboration performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

연구 동기 및 목표

• 최근 사용자 연구를 분석함으로써 설명 가능한 인공지능(XAI) 분야에서 표준화되고 인간 중심인 평가의 부족을 해결하고자 한다.
• 신뢰, 이해도(주관적 및 객관적), 사용성(작업 부하, 만족도, 유용성), 인간-AI 협업 성과 등 XAI 사용자 연구에서 사용되는 핵심 평가 차원을 식별하고 분류하고자 한다.
• 모델 선택, 작업 설계, 측정 기법 등의 사용자 연구 설계 최선의 실천 사례를 도출하여 XAI 연구자 및 전문가가 활용할 수 있도록 하고자 한다.
• 현재 XAI 평가에서 인지과학 및 사회과학의 통찰이 얼마나 미흡하게 활용되고 있는지 부각하고자 한다.
• 더 투명하고 신뢰할 수 있으며 인간 중심인 XAI 평가를 위한 실행 가능한 지침을 제안하고, 향후 연구 방향을 제시하고자 한다.

제안 방법

• 최근 5년간 최고 수준의 HCI 및 머신러닝 학술 대회(예: CHI, NeurIPS, AAAI)에서 발표된 핵심 논문 97편에 대한 체계적 문헌 리뷰를 수행하였다.
• 측정된 특성 기반으로 사용자 연구를 분류하였으며, 이는 신뢰, 이해도(주관적 및 객관적), 사용성(작업 부하, 만족도, 유용성), 인간-AI 협업 성과이다.
• 대체 작업, 설명 유형, 평가 지표 등의 공통된 설계 선택 사례를 분석하여 반복되는 패턴과 최선의 실천 사례를 규명하였다.
• 모의 작업과 실제 의사결정 환경 간의 성과를 비교함으로써 대체 작업의 타당성을 평가하였다.
• 예측 정보를 기반으로 설명을 사전에 선별하는 데 목적이 있는 시뮬레이션 평가 프레임워크(SimEvals)를 제안하였다. 이는 인적 시험에 대한 의존도를 줄이는 데 기여한다.
• 대규모 언어 모델을 평가 환경에서 인간의 반응을 시뮬레이션하는 데 활용하였으며, 인지 편향의 복제 가능성에 대한 경계를 제기하였다.

실험 결과

연구 질문

• RQ1 최근 XAI 사용자 연구에서 주로 사용되는 평가 차원는 무엇이며, 어떻게 측정되고 있는가?
• RQ2 다양한 적용 분야 간의 연구 결과는 얼마나 일관성이 있으며, 설명의 효과성에 영향을 주는 요소는 무엇인가?
• RQ3 현재 XAI 사용자 연구에서 사용되는 대체 작업이 실제 의사결정 성과를 얼마나 잘 예측하고 있는가?
• RQ4 XAI 사용자 연구에서 가장 흔한 방법론적 패턴과 설계 선택 사례는 무엇이며, 이를 바탕으로 도출할 수 있는 최선의 실천 사례는 무엇인가?
• RQ5 인지과학 및 사회과학의 통찰은 어떻게 보다 잘 통합되어야 하며, 이를 통해 평가의 타당성과 인간 중심성은 어떻게 향상시킬 수 있는가?

주요 결과

• XAI 평가 프로젝트의 약 20%만이 실제 인간 참가자를 포함하고 있어, 인간 중심 검증의 심각한 격차가 존재함을 시사한다.
• 신뢰와 이해도가 가장 자주 측정되는 평가 차원이며, 주관적 이해도는 일반적으로 정신 모델 구축 작업을 통해 평가된다.
• 정신 모델 구축과 같은 대체 작업은 실제 의사결정 작업 성과를 신뢰성 있게 예측하지 못함을 보여주며, 평가와 실제 적용 간의 괴리가 존재함을 시사한다.
• 현재 XAI 사용자 연구에서 인지 또는 사회과학 이론의 통합은 여전히 제한적이며, 이는 평가의 타당성을 향상시킬 잠재력이 있음에도 불구하고 미흡한 실천을 의미한다.
• SimEvals와 같은 시뮬레이션 평가 프레임워크는 예측 정보를 측정함으로써 설명을 사전에 선별하는 데 효과적으로 기여하며, 전체 인적 시험에 대한 비용 효율적인 대안을 제공한다.
• 대규모 언어 모델은 인간의 반응을 시뮬레이션하는 데 잠재력이 있지만, 아직 모델링되지 않은 인지 편향과 맥락적 뉘앙스가 존재하므로 인간 평가를 완전히 대체할 수는 없다.