[논문 리뷰] Principles of Explanation in Human-AI Systems

Shane T. Mueller, Elizabeth S. Veinott외 5명|arXiv (Cornell University)|2021. 02. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 54인용 수 7

한 줄 요약

이 논문은 알고리즘 중심 설계에서 사용자 중심 원칙으로의 전환을 통해 인간 중심의 설명 가능한 인공지능(XAI) 프레임워크를 제안한다. '자기 설명 점수표'와 경험적 근거에 기반한 설계 원칙을 도입하여 설명이 사용자가 AI 시스템을 이해하고 신뢰하며 효과적으로 사용하는 데 기여함을 보장한다. 이는 설명 가능성의 유효성을 알고리즘 투명성 외에도 사용자 성과 및 인지 결과를 통해 검증해야 한다는 점을 입증한다.

ABSTRACT

Explainable Artificial Intelligence (XAI) has re-emerged in response to the development of modern AI and ML systems. These systems are complex and sometimes biased, but they nevertheless make decisions that impact our lives. XAI systems are frequently algorithm-focused; starting and ending with an algorithm that implements a basic untested idea about explainability. These systems are often not tested to determine whether the algorithm helps users accomplish any goals, and so their explainability remains unproven. We propose an alternative: to start with human-focused principles for the design, testing, and implementation of XAI systems, and implement algorithms to serve that purpose. In this paper, we review some of the basic concepts that have been used for user-centered XAI systems over the past 40 years of research. Based on these, we describe the "Self-Explanation Scorecard", which can help developers understand how they can empower users by enabling self-explanation. Finally, we present a set of empirically-grounded, user-centered design principles that may guide developers to create successful explainable systems.

연구 동기 및 목표

• 사용자 이해도나 작업 성과를 검증하지 않는 측면에서 알고리즘 중심의 XAI 연구에 틈을 메우기 위해.
• 수십 년에 걸친 인간-컴퓨터 상호작용 및 인지과학 연구에 기반한 사용자 중심 원칙으로 XAI 설계를 알고리즘 중심 접근에서 전환하기 위해.
• 개발자가 설명이 사용자 스스로의 이해와 의사결정을 지원하는 정도를 평가할 수 있도록 하는 실용적 프레임워크인 '자기 설명 점수표'를 개발하기 위해.
• 효과적이고 사용하기 쉬우며 신뢰할 수 있는 AI 설명을 구현하는 데 지침이 되는 경험적 근거에 기반한 사용자 중심 설계 원칙 세트를 수립하기 위해.

제안 방법

• 사용자 중심 설명 시스템에 대한 40년에 걸친 인간-AI 상호작용 연구를 검토하여 반복적으로 나타나는 원칙과 설계 패턴을 도출하기 위해.
• 사용자가 AI 결정의 이유를 스스로 재구성할 수 있도록 설명이 기여하는지 평가하기 위한 진단 도구로 '자기 설명 점수표'를 개발하기 위해.
• 사용자 이해도, 신뢰도, 작업 성과를 우선시하는 인지과학 및 인간-컴퓨터 상호작용 분야의 핵심 원칙을 식별하고 통합하기 위해.
• 종단적 연구 및 설명 시스템의 사용성 평가를 바탕으로 유도된 10개의 경험적 근거에 기반한 설계 원칙을 제안하기 위해.
• 반복적인 설계 및 평가 사이클을 통해 설명이 의사결정 정확도, 자신감, 작업 효율성 등의 사용자 결과를 향상시키는지 검증하기 위해.
• 설명이 기술적으로 올바른 것 외에도 인지적으로 효과적인지 보장하기 위해 원칙을 알고리즘 구현 지침으로 적용하기 위해.

실험 결과

연구 질문

• RQ1 XAI 시스템은 어떻게 설계되어야 사용자가 AI 결정의 자신의 설명을 생성하는 데 도움이 될 수 있는가?
• RQ2 수십 년에 걸친 인간-컴퓨터 상호작용 연구에서 도출된 사용자 중심 원칙은 AI 설명의 효과성을 높이기 위해 어떻게 활용될 수 있는가?
• RQ3 현재의 알고리즘 중심 XAI 시스템은 사용자의 이해도와 작업 성과를 얼마나 잘 달성하고 있는가?
• RQ4 개발자는 어떤 설명이 실제로 사용자가 AI 결정을 이해하고 대응할 수 있도록 하는지 어떻게 평가할 수 있는가?
• RQ5 어떤 설계 원칙이 설명이 기술적으로 타당할 뿐 아니라 인지적으로 효과적이고 신뢰할 수 있도록 보장하는가?

주요 결과

• 자기 설명 점수표는 사용자가 AI의 추론 과정을 독립적으로 재구성할 수 없는 설명 시스템의 격차를 효과적으로 식별한다.
• 자기 설명을 지원하는 설명은 수동적인 설명 제공 방식에 비해 사용자 자신감, 의사결정 정확도, 작업 성과가 향상된다.
• 강력한 알고리즘 투명성에도 불구하고 많은 기존 XAI 시스템은 설명이 실제로 사용자가 목표를 달성하는 데 기여하는지 검증하지 못하고 있다.
• 사용자 이해도를 높이고 효과를 극대화하는 데 기여하는 사용자 중심 설계 원칙—예를 들어 맥락 인식, 즉각적 정보 제공, 사용자 정서 모델과의 일치—은 설명의 효과성을 크게 향상시킨다.
• 사용자 전문성과 작업 맥락에 맞게 맞춤화된 설명은 더 신뢰할 수 있고 실행 가능하다고 평가될 가능성이 높다.
• 본 연구는 설명 가능성은 알고리즘 자체의 성질이 아니라 시스템, 사용자, 작업 맥락 간의 상호작용의 함수임을 입증한다.