[논문 리뷰] Explaining Explanations: An Approach to Evaluating Interpretability of Machine Learning

Leilani H. Gilpin, David Bau외 4명|arXiv (Cornell University)|2018. 05. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 53인용 수 120

한 줄 요약

이 논문은 기계학습에서 해석 가능성의 평가를 위한 표준화된 프레임워크를 제안하며, 설명 가능성의 정의를 내리고 기존의 XAI 방법을 분류한다. 이는 특히 딥 뉴럴 네트워크에서의 현재 접근 방식의 한계를 밝히며, 투명성, 공정성, 설명의 체계적 평가 향상을 위한 향후 연구 방향을 제시한다.

ABSTRACT

There has recently been a surge of work in explanatory artificial intelligence (XAI). This research area tackles the important problem that complex machines and algorithms often cannot provide insights into their behavior and thought processes. XAI allows users and parts of the internal system to be more transparent, providing explanations of their decisions in some level of detail. These explanations are important to ensure algorithmic fairness, identify potential bias/problems in the training data, and to ensure that the algorithms perform as expected. However, explanations produced by these systems is neither standardized nor systematically assessed. In an effort to create best practices and identify open challenges, we provide our definition of explainability and show how it can be used to classify existing literature. We discuss why current approaches to explanatory methods especially for deep neural networks are insufficient. Finally, based on our survey, we conclude with suggested future research directions for explanatory artificial intelligence.

연구 동기 및 목표

• XAI 연구 분야를 통일하기 위해 설명 가능성에 대한 명확하고 일관된 정의를 확립하기 위해.
• 특히 딥 뉴럴 네트워크를 위한 기계학습의 기존 설명 방법을 분류하고 분석하기 위해.
• 체계적 평가를 저해하는 현재 XAI 접근 방식의 핵심적 한계를 규명하기 위해.
• 해석 가능성과 평가 기준의 격차를 보완하는 데 초점을 맞춘 향후 연구 방향을 제안하기 위해.

제안 방법

• 시스템이 이해할 수 있고 맥락적으로 관련 있는 설명을 제공할 수 있는 능력으로 설명 가능성의 형식적 정의를 제안한다.
• 기본 메커니즘과 평가 기준에 따라 기존 XAI 방법을 분류한다.
• 특히 딥 러닝에서 설명 생성 접근 방식을 분석하여 일관성 부족과 표준화 부족을 드러낸다.
• 평가 기준 부족, 일관성 없는 지표, 사용자 중심 설계의 부족과 같은 주요 과제를 규명한다.
• 투명성, 충실도, 사용자 이해도를 바탕으로 설명의 체계적 평가 프레임워크를 제안한다.
• 표준화, 평가 프로토콜, 인간 요소의 설명 설계 통합을 중심으로 한 향후 연구 방향을 제시한다.

실험 결과

연구 질문

• RQ1 어떻게 설명 가능성을 형식적으로 정의할 수 있을까? 이를 통해 XAI 방법 간 일관된 평가가 가능해질 것이다.
• RQ2 왜 현재 딥 뉴럴 네트워크를 위한 설명 방법은 신뢰할 만하고 체계적인 평가에 부적합한가?
• RQ3 기계학습 설명의 평가 및 표준화에서 핵심적인 격차는 무엇인가?
• RQ4 어떻게 하면 사용자에게 더 투명하고 충실하며 유용한 설명을 만들 수 있는가?
• RQ5 XAI 시스템의 신뢰성과 영향력을 높이기 위해 어떤 향후 연구 방향이 필요한가?

주요 결과

• 논문은 XAI 분야의 발전을 저해하는 주요 장벽으로 표준화된 정의와 평가 기준의 부족을 규명한다.
• 현재 XAI 방법, 특히 딥 뉴럴 네트워크를 위한 방법은 일관성, 재현 가능성, 사용자 중심 검증이 빈곤한 편이다.
• 다양한 모델과 도메인 간 설명의 품질을 평가할 수 있는 통합된 벤치마크나 지표가 없다.
• 연구는 설명이 종종 사용자 이해도나 의사결정 영향도가 아닌 내부 모델 성질에 기반해 평가된다는 점을 드러낸다.
• 저자들은 향후 연구가 체계적 평가 프레임워크와 인간을 포함한 검증을 우선시해야 한다고 결론 내린다.
• 용어의 표준화, 평가 프로토콜의 정립, 사용자 피드백의 통합은 신뢰할 수 있고 해석 가능한 AI 발전을 위해 필수적이다.