[논문 리뷰] Why do explanations fail? A typology and discussion on failures in XAI

Clara Bove, Thibault Laugel외 3명|arXiv (Cornell University)|2024. 05. 22.

Scientific Computing and Data Management인용 수 4

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)의 실패에 대한 통합적인 유형 체계를 제안하며, 복잡하고 겹치는 원인들로 인한 설명 실패를 다루기 위해 시스템 특화 실패와 사용자 특화 실패를 구분한다. 기술적 한계와 인간의 해석 문제를 분석함으로써 핵심 실패 유형을 규명하고, 투명성 향상, 사용자 중심 인터페이스 개선, 다학제적 설계를 통해 기계학습 시스템 내 설명의 품질과 신뢰도를 높이기 위한 방안을 제시한다.

ABSTRACT

As Machine Learning models achieve unprecedented levels of performance, the XAI domain aims at making these models understandable by presenting end-users with intelligible explanations. Yet, some existing XAI approaches fail to meet expectations: several issues have been reported in the literature, generally pointing out either technical limitations or misinterpretations by users. In this paper, we argue that the resulting harms arise from a complex overlap of multiple failures in XAI, which existing ad-hoc studies fail to capture. This work therefore advocates for a holistic perspective, presenting a systematic investigation of limitations of current XAI methods and their impact on the interpretation of explanations. % By distinguishing between system-specific and user-specific failures, we propose a typological framework that helps revealing the nuanced complexities of explanation failures. Leveraging this typology, we discuss some research directions to help practitioners better understand the limitations of XAI systems and enhance the quality of ML explanations.

연구 동기 및 목표

• 설명의 기술적 한계와 인간 중심의 제약이 겹치는 점을 규명함으로써 XAI 실패에 대한 분산된 이해를 개선하기 위해.
• 시스템 특화 및 사용자 특화 실패 유형을 구분하는 체계적이고 계층적인 XAI 실패 유형 체계를 개발하기 위해.
• 구조화된 프레임워크를 통해 AI 전문가들이 설명 실패의 근본 원인을 진단하는 데 도움이 되도록 하기 위해.
• 의사소통 격차와 상호작용 제약을 부각시킴으로써 더 투명하고 사용자 중심적인 XAI 설계를 촉진하기 위해.
• 투명성 향상과 상호작용 가능한 사용자 인터페이스를 통해 설명 품질을 향상시키는 데 기여할 수 있는 연구 방향을 식별하기 위해.

제안 방법

• 최근 XAI 연구에서 설명, 인터페이스, 평가의 한계에 중점을 두고 종합적인 문헌 고찰을 수행하였다.
• 이중 계층 유형 체계를 제안함: 시스템 특화 실패(예: 강건성, 충실도, 안정성)와 사용자 특화 실패(예: 오해, 과도한 신뢰, 인지 편향).
• 특히 메서드 가정에 대한 명확한 소통이 부족한 상황에서 시스템 설계와 사용자 인지 간의 상호작용이 실패를 어떻게 유도하는지 분석하였다.
• 기계학습 투명성 및 사실 기록과 같은 설계 원칙을 통해 XAI 방법의 투명성 향상이 필요하다고 강조하였다. 이는 Model Cards와 유사한 방식이다.
• 상호작용적이고 대화형이며 서사 기반의 설명 제공 방식을 지원하는 고급 XAI 사용자 인터페이스(XUI) 개발을 주장하였다.
• 유형 체계를 활용하여 실패 기원 진단과 복합 실패 영향 완화에 초점을 맞춘 연구 방향을 식별하였다.

실험 결과

연구 질문

• RQ1 XAI에서의 주요 실패 유형은 무엇이며, 이들은 어떻게 겹치거나 상호작용하는가?
• RQ2 불안정성이나 충실도 부족과 같은 시스템 수준의 한계가 설명 실패에 어떻게 기여하는가?
• RQ3 사전 지식, 인지 편향, 이해 부족 등의 사용자 수준 요인이 설명 오해로 이어지는 방식은 무엇인가?
• RQ4 XAI 시스템과 사용자 간의 의사소통 격차가 설명 실패를 악화시키는 방식은 무엇인가?
• RQ5 대화형, 시각적 등의 인터페이스 모달리티(예: 대화형, 시각적)는 사용자 특화 실패를 줄이고 설명 이해도를 향상시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• 논문은 XAI 연구에서 중요한 격차를 규명한다: 실패는 거의 통합적으로 연구되지 않아 잘못 진단되고 효과적인 완화 전략이 수립되지 않는다.
• 시스템 특화 실패에는 설명 방법의 충실도 부족, 강건성 부족, 안정성 부족 등의 문제가 포함되며, 이는 설명이 기술적으로 정확하더라도 사용자를 오도할 수 있다.
• 사용자 특화 실패는 설명 내용과 사용자 요구 간의 괴리에서 비롯되며, 예를 들어 설명에 과도하게 신뢰하거나 인지 편향으로 인해 잘못된 추론을 내릴 수 있다.
• 많은 실패가 설명 자체의 결함 때문이 아니라, 특히 局소성 대 안정성 등의 트레이드오프와 기능 상호작용에 대한 이해 부족으로 인해 사용자가 설명 방법의 작동 원리를 모를 때 발생한다.
• 상호작용적이고 대화형이거나 서사 기반의 인터페이스가 부족함으로써 사용자가 설명을 탐색하고 검증하는 능력이 제한되어 외부 추론에 의존하게 되고, 오해의 위험이 증가한다.
• 저자들은 XAI 방법의 표준화된 문서화(예: Model Cards와 유사하게)를 통해 투명성을 향상시키고, 사용자가 방법론적 가정과 한계를 이해하는 데 도움이 되도록 제안한다.