[논문 리뷰] Human-Centered Explainable AI (XAI): From Algorithms to User Experiences

Q. Vera Liao, Kush R. Varshney|arXiv (Cornell University)|2021. 10. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 98인용 수 16

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)에 인간 중심 접근을 주장하며, 기술적 지표만으로가 아니라 사용자의 인지적 필요, 추론 과정 및 실제 경험을 고려한 설명 가능성의 지침이 필요하다고 주장한다. 인터페이스 및 인지과학의 통찰을 종합하여 XAI 도구의 설계, 평가 및 확장에 기여하며, 세 가지 역할을 강조한다: 사용자 수요를 바탕으로 기술적 선택을 이끌고, 기존 방법의 결함을 드러내며, 이론에 기반한 인간 친화적 XAI 프레임워크를 구축한다.

ABSTRACT

In recent years, the field of explainable AI (XAI) has produced a vast collection of algorithms, providing a useful toolbox for researchers and practitioners to build XAI applications. With the rich application opportunities, explainability is believed to have moved beyond a demand by data scientists or researchers to comprehend the models they develop, to an essential requirement for people to trust and adopt AI deployed in numerous domains. However, explainability is an inherently human-centric property and the field is starting to embrace human-centered approaches. Human-computer interaction (HCI) research and user experience (UX) design in this area are becoming increasingly important. In this chapter, we begin with a high-level overview of the technical landscape of XAI algorithms, then selectively survey our own and other recent HCI works that take human-centered approaches to design, evaluate, and provide conceptual and methodological tools for XAI. We ask the question "what are human-centered approaches doing for XAI" and highlight three roles that they play in shaping XAI technologies by helping navigate, assess and expand the XAI toolbox: to drive technical choices by users' explainability needs, to uncover pitfalls of existing XAI methods and inform new methods, and to provide conceptual frameworks for human-compatible XAI.

연구 동기 및 목표

• 기술적 XAI 알고리즘과 실생활 사용자 수용 사이의 갭을 줄이기 위해 설명 가능성의 중심을 인간의 필요와 경험으로 이동시키는 것.
• 인간-컴퓨터 상호작용(HCI) 및 사용자 경험(UX) 연구가 XAI 시스템의 개발과 평가를 어떻게 이끌 수 있는지 규명하는 것.
• 실증적 사용자 연구와 인지 이론을 통해 현재의 기술 중심 XAI 접근 방식의 한계를 부각하는 것.
• 사용자의 추론 목표, 인지 편향 및 정보 탐색 행동과 XAI 방법을 일치시키는 프레임워크를 제안하는 것.
• 더 신뢰할 수 있고 인간 중심의 AI 시스템을 구축하기 위해 AI, HCI 및 사회과학 분야 간의 다학제적 협력을 장려하는 것.

제안 방법

• 최근 XAI 알고리즘을 조사하고 지역적 및 전역적 해석 가능성, 역설적 사례, 주의 기반 설명 등 핵심 기술적 범주를 식별하는 것.
• 이중처리 이론, 의미 생성 모델(Dervin, 1998), 정보 탐색 행동 이론(Wilson, 1981) 등 인지 및 행동 이론을 적용하여 XAI 설계를 지원하는 것.
• 사용자의 설명 목표, 인과적 추론 유형 및 의사결정 과정과 XAI 방법을 연결하기 위해 인간 추론의 개념적 프레임워크(예: Wang et al., 2019)를 활용하는 것.
• 사용자 중심의 함정을 드러내기 위해 실증 연구를 수행하거나 검토하는 것. 예를 들어, 정밀도 지도나 국소적 설명에 대한 과도한 의존, 해석 오류 등.
• 대화형 모델과 상호작용 기반 설명 시스템(Madumal et al., 2019)을 통합하여 사용자 중심의 동적 설명 과정을 지원하는 것.
• 사용자 중심 평가를 통해 XAI 시스템을 평가할 수 있는 방법론적 도구를 제안하는 것. 이는 작업 기반 사용성 및 인지 부하 측정 지표 포함.

실험 결과

연구 질문

• RQ1 사용자의 실제 설명 필요에 기반해 인간 중심 설계 원칙이 XAI 기법의 선택과 개발을 어떻게 이끌 수 있는가?
• RQ2 현재 XAI 방법이 해결하지 못하는 주요 인지적 및 행동적 제약은 무엇이며, UX 설계를 통해 어떻게 보완할 수 있는가?
• RQ3 인간 추론 및 정보 탐색 이론적 모델을 어떻게 실천 가능하게 구현하여 XAI 시스템 설계를 향상시킬 수 있는가?
• RQ4 상호작용적이고 대화 기반의 설명 시스템은 사용자의 AI 의사결정 이해도와 신뢰도를 어떻게 향상시킬 수 있는가?
• RQ5 알고리즘적 설명 가능성과 인간의 이해 사이의 격차를 메우기 위한 개념적 및 방법론적 프레임워크는 무엇인가?

주요 결과

• 설명 가능성은 모델의 내재적 성질이 아니라 사용자의 인지 상태, 지식 수준 및 설명을 구하는 목적에 따라 달라진다.
• 기존 XAI 기법은 사용자 중심의 추론 목표를 고려하지 못해, 기술적으로는 타당하더라도 잘못된 해석이나 비효율적 설명을 초래할 수 있다.
• 실증 연구에서 사용자들이 정밀도 지도나 주의 기반 설명을 자주 오해하는 것으로 나타나, 사용자 중심 설계 개선의 필요성이 강조된다.
• 이중처리 이론 및 의미 생성 모델과 같은 인지과학 이론적 프레임워크는 자연스러운 인간의 추론 패턴과 일치하는 XAI 시스템 설계를 안내할 수 있다.
• 현재 XAI 툴킷은 널리 이용 가능하지만, 인간 중심 평가 및 설계 관행과의 통합 부족으로 인해 실생활 적용은 여전히 제한되어 있다.
• 인간 중심 XAI는 단순히 설명을 개선하는 것을 넘어서, 기술적 정확성 외에도 사용자 능력 강화, 신뢰성 및 복지 측면에서 성공의 기준을 재정의하는 것이다.