[논문 리뷰] "Explanation" is Not a Technical Term: The Problem of Ambiguity in XAI

Leilani H. Gilpin, Andrew R. Paley외 3명|arXiv (Cornell University)|2022. 06. 27.

Explainable Artificial Intelligence (XAI)인용 수 9

한 줄 요약

이 논문은 XAI에서 '설명'이라는 용어가 일관된 기술적 정의를 갖추지 못함으로써 기능적으로 부적절한 설명이 유도된다고 주장한다. 이는 실질적인 기능을 수행하지 못하는 설명을 초래한다. 논문은 충실도, 이해 가능성, 정확성 등의 지표를 활용해 사용자 중심의 기능적 프레임워크를 제안하며, 다양한 사용자와 맥락에서 설명이 그 기능을 다할 수 있도록 표준화된 평가 체계를 확립하기 위해 '영양성분 라벨' 제도를 도입할 것을 주장한다.

ABSTRACT

There is broad agreement that Artificial Intelligence (AI) systems, particularly those using Machine Learning (ML), should be able to "explain" their behavior. Unfortunately, there is little agreement as to what constitutes an "explanation." This has caused a disconnect between the explanations that systems produce in service of explainable Artificial Intelligence (XAI) and those explanations that users and other audiences actually need, which should be defined by the full spectrum of functional roles, audiences, and capabilities for explanation. In this paper, we explore the features of explanations and how to use those features in evaluating their utility. We focus on the requirements for explanations defined by their functional role, the knowledge states of users who are trying to understand them, and the availability of the information needed to generate them. Further, we discuss the risk of XAI enabling trust in systems without establishing their trustworthiness and define a critical next step for the field of XAI to establish metrics to guide and ground the utility of system-generated explanations.

연구 동기 및 목표

• XAI의 核심 문제를 규명: '설명'에 대한 공통된 기술적 정의가 부재하여 기능적으로 부적합한 설명이 유도됨.
• 현재 XAI 기법들이 사용자 요구와 맞지 않는 기능적 역할과 사용자 지식 수준으로 인해 기술적으로는 타당하지만 기능적으로는 실패하는 설명을 생성한다는 점을 주장.
• 일괄적인 설명에서 기능 기반 모델로의 전환을 제안하여, 설명의 역할, 대상 사용자, 데이터 접근성에 기반해 평가되도록 한다.
• 충실도, 이해 가능성, 정확성, 구체성 등의 표준화된 지표를 도입해 설명의 품질을 객관적으로 평가할 수 있도록 한다.
• 설명의 '영양성분 라벨' 개념을 제안하여 이해관계자가 다중 기준에 기반해 신뢰성과 적합성을 평가할 수 있도록 한다.

제안 방법

• 설명의 기능적 시각을 제안하며, 설명의 역할(예: 디버깅, 상호작용, 자신감 확보, 책임 소재), 대상 사용자(예: 개발자, 사용자, 규제 기관), 시스템 기능을 기반으로 분류.
• 네 가지 핵심 평가 차원 도입: 이해 가능성(언어 및 형식), 정확성(모델의 진술에 대한 진실성), 구체성(세부 수준), 충실도(설명이 모델의 의사결정 과정을 얼마나 잘 반영하는지).
• 표 1의 매트릭스를 활용해 타겟 사용자와 네 가지 차원에서 이상적인 설명 특성 간의 관계를 맵핑하여, 다양한 역할에 따라 다른 종류의 설명이 필요함을 보여준다.
• 설명의 '영양성분 라벨' 개념을 도입하며, 충실도, 이해 가능성, 정확성, 구체성 등의 지표를 요약한 표준화된 요약문을 제공해 이해관계자가 설명의 품질과 신뢰성을 평가할 수 있도록 한다.
• 효과적이고 신뢰할 수 있는 설명은 추론적이며 논리적으로 일관되어야 하며, 주장이 이전 주장에서 유추되어야 한다고 강조.
• 충실도를 수치화(예: '85% 충실')함으로써 설명 신뢰성에 대한 측정 가능한 자신감을 제공할 것을 제안.

실험 결과

연구 질문

• RQ1 XAI 맥락에서 '설명'이 실제로 의미하는 바는 무엇이며, 그 모호성이 시스템 설계와 사용자 신뢰에 미치는 영향은 무엇인가?
• RQ2 디버깅, 상호작용, 자신감 확보 등의 기능적 역할이 효과적인 설명의 요구사항을 어떻게 규정하는가?
• RQ3 현재 XAI 기법들이 기술적으로는 타당하지만 목적에 맞는 사용자에게는 기능적으로 부적합한 설명을 얼마나 많이 생성하는가?
• RQ4 다양한 사용자와 응용 사례에서 설명의 품질을 객관적으로 평가하는 방법은 무엇인가?
• RQ5 신뢰성 있고 유용한 설명을 확보하기 위해 필요한 지표와 평가 프레임워크는 무엇인가? 단순히 설득력 있는 설명이 아니라.

주요 결과

• '설명'이라는 용어는 다수의 일상적·기술적 의미를 지닌 '가방단어'이며, 이로 인해 생성된 설명과 사용자 요구 간에 광범위한 부일치가 발생한다.
• LIME, SHAP, 색소맵 등의 현재 XAI 기법들은 종종 취약하고 쉽게 속일 수 있으며, 기반 모델의 의사결정 과정과 충실도가 떨어지는 설명을 생성한다.
• 기술적으로 정확한 설명이라도, 타겟 사용자가 도메인 지식이나 기술 지식이 부족할 경우 새로운 통찰을 제공하지 못하거나 이해하기 어려울 수 있다.
• 충실도, 이해 가능성, 정확성, 구체성 등을 요약한 '영양성분 라벨'은 사용자와 이해관계자가 신뢰성과 적합성을 평가하는 데 도움이 되는 강력한 도구가 될 수 있다.
• 연구 결과에 따르면 충실도는 핵심이지만 아직 충분히 평가되지 않은 지표이다. 예를 들어, 어떤 방법이 85% 충실하다면, 모델의 진짜 추론을 반영하지 못하는 경우가 15%에 이른다는 의미이다.
• 논문은 XAI가 설명을 기술적 기능으로 홍보하는 데서 벗어나, 기능적 역할, 사용자 지식, 측정 가능한 지표에 기반해 설명을 설계해야 한다고 결론 내리며, 단순한 신뢰를 넘어서 신뢰성 확보를 위해 노력해야 한다.