[논문 리뷰] Explaining Any ML Model? -- On Goals and Capabilities of XAI

Moritz Renftle, Holger Trittenbach외 2명|arXiv (Cornell University)|2022. 06. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 28인용 수 4

한 줄 요약

이 논문은 XAI 연구를 사용자가 기계학습 모델에 대해 실제로 제기하는 질문들에 기반해 재정립함으로써, 현재 XAI 알고리즘에서 다루고 있는 유일한 핵심 질문—복잡한 모델을 해석 가능한 특성의 단순한 함수로 표현하는 방법—을 규명한다. 이는 모델 근사화와 기술적 특성들을 인간이 이해할 수 있는 용어로 번역하는 데 발생하는 두 가지 핵심 과제를 드러내며, 향후 XAI가 실제 세계의 요구를 충족시키기 위해 이 두 가지 과제를 통합적으로 해결해야 한다고 주장한다.

ABSTRACT

An increasing ubiquity of machine learning (ML) motivates research on algorithms to explain ML models and their predictions -- so-called eXplainable Artificial Intelligence (XAI). Despite many survey papers and discussions, the goals and capabilities of XAI algorithms are far from being well understood. We argue that this is because of a problematic reasoning scheme in XAI literature: XAI algorithms are said to complement ML models with desired properties, such as "interpretability", or "explainability". These properties are in turn assumed to contribute to a goal, like "trust" in an ML system. But most properties lack precise definitions and their relationship to such goals is far from obvious. The result is a reasoning scheme that obfuscates research results and leaves an important question unanswered: What can one expect from XAI algorithms? In this article, we clarify the goals and capabilities of XAI algorithms from a concrete perspective: that of their users. Explaining ML models is only necessary if users have questions about them. We show that users can ask diverse questions, but that only one of them can be answered by current XAI algorithms. Answering this core question can be trivial, difficult or even impossible, depending on the ML application. Based on these insights, we outline which capabilities policymakers, researchers and society can reasonably expect from XAI algorithms.

연구 동기 및 목표

• 기계학습 모델에 대한 사용자가 실제로 제기하는 질문들로 초점을 이동시킴으로써, '해석 가능성'과 같은 추상적 성질이 아닌 진정한 XAI 알고리즘의 목표와 능력을 명확히 하기 위해.
• 기존 XAI 방법이 실제로 현재 어느 사용자 질문에 답할 수 있는지 규명함으로써, XAI 문헌에서 흔히 볼 수 있는 모호하고 규범적인 논의에 대비한다.
• 현재 XAI 접근 방식의 한계를 폭 드러내며, 이는 오직 하나의 특정 질문—복잡한 모델을 해석 가능한 특성의 함수로 표현하는 방법—만을 다루고 있다는 점을 지적한다.
• XAI의 핵심 과제인 근사화와 번역을 동시에 해결해야만 의미 있는 진전이 가능하다는 점을 강조한다.
• 사용자 중심의 목표에 기반하여 정책 입안자, 연구자, 사회 전반의 XAI에 대한 기대치를 현실적으로 이끌어내기 위해.

제안 방법

• 스팸 탐지 사례를 활용해 기계학습 모델에 대한 일곱 가지 다른 사용자 질문을 분석하고, 그 뜻과 복잡도에 따라 분류한다.
• 오직 하나의 질문—'어떻게 복잡한 기계학습 모델을 해석 가능한 특성의 단순한 함수로 표현할 수 있는가?'—만이 현재 XAI 알고리즘에 의해 다루어지고 있음을 규명한다.
• 두 가지 핵심 과제를 도입한다: (1) 근사화, 여기서는 정밀도와 단순성 사이의 균형을 유지하는 대체 모델이 필요하며, (2) 번역, 여기서는 기술적 모델 특성(예: 뉴런 활성화)을 인간이 이해할 수 있는 개념(예: 물체, 형태)으로 연결해야 한다.
• LIME, SHAP, 통합 기울기와 같은 기존 XAI 방법을 근사화 기법으로 검토하고, 컴퓨터 비전 및 NLP 분야에서 특성 번역을 가능하게 하는 방법들을 분석한다.
• 향후 XAI는 근사화와 번역을 통합해야 한다고 제안하며, 신경기반 기반 기반의 접근 방식인 신경기반 프로토타입 트리(Neural Prototype Trees)를 사례로 제시한다.
• 사용자 중심의 관점에서 XAI를 추상적 성질의 추구가 아니라, 구체적이고 실행 가능한 질문에 답하는 기술적 문제로 재정의한다.

실험 결과

연구 질문

• RQ1 사용자가 기계학습 모델에 대해 실제로 제기하는 질문은 무엇이며, 이러한 질문들은 XAI의 목표와 어떻게 관련되어 있는가?
• RQ2 기존 XAI 알고리즘이 실제로 어느 정도의 사용자 질문에 답할 수 있는가?
• RQ3 사용자 질문에 답하는 데 있어 XAI 알고리즘의 효과를 제한하는 근본적인 기술적 과제는 무엇인가?
• RQ4 기존 XAI 방법들이 근사화와 번역 과제를 동시에 어느 정도 해결하고 있는가?
• RQ5 XAI 연구는 '해석 가능성'과 같은 규범적이거나 명확하지 않은 성질이 아닌, 현실적인 사용자 필요에 맞게 어떻게 재정립되어야 하는가?

주요 결과

• 현재 XAI 알고리즘에서 다루고 있는 유일한 사용자 질문은 '어떻게 복잡한 기계학습 모델을 해석 가능한 특성의 단순한 함수로 표현할 수 있는가?'이다.
• XAI의 두 주요 과제는 근사화(대체 모델의 정밀도와 단순성의 균형)와 번역(기술적 특성과 인간이 이해할 수 있는 개념 간의 연결)이다.
• LIME, SHAP, 통합 기울기와 같은 기존 XAI 방법들은 주로 근사화 과제를 다루지만, 번역 과제를 해결하는 데는 종종 실패한다.
• 번역은 여전히 미흡하게 다뤄지고 있으며, CNN의 뉴런 활성화를 시각적 개념(예: 형태, 물체)과 연결하는 방법은 존재하지만, 대규모 레이블이 붙은 데이터셋이 필요하다.
• 근사화와 번역을 동시에 해결하는 것은 여전히 열려 있는 과제이며, 특히 시각, NLP, 물리 과정 모델링과 같은 다중 모odal 도메인에서 더욱 그렇다.
• 신경기반 기반 기반의 AI 접근 방식, 예를 들어 신경기반 프로토타입 트리(Neural Prototype Trees)는 신경학습과 기호적 해석을 결합함으로써 통합적 해결책을 위한 유망한 길을 제시한다.