[논문 리뷰] Explainable Deep Learning: A Field Guide for the Uninitiated

Gabriëlle Ras, Ning Xie외 2명|arXiv (Cornell University)|2020. 04. 30.

Explainable Artificial Intelligence (XAI)인용 수 92

한 줄 요약

이 논문은 설명 가능한 DNN 방법의 간단한 3차원 분류 체계, 평가 방법, 그리고 분야 초보자를 위한 실용적 설계 고려를 소개하는 현장 가이드를 제시합니다.

ABSTRACT

Deep neural networks (DNNs) have become a proven and indispensable machine learning tool. As a black-box model, it remains difficult to diagnose what aspects of the model's input drive the decisions of a DNN. In countless real-world domains, from legislation and law enforcement to healthcare, such diagnosis is essential to ensure that DNN decisions are driven by aspects appropriate in the context of its use. The development of methods and studies enabling the explanation of a DNN's decisions has thus blossomed into an active, broad area of research. A practitioner wanting to study explainable deep learning may be intimidated by the plethora of orthogonal directions the field has taken. This complexity is further exacerbated by competing definitions of what it means ``to explain'' the actions of a DNN and to evaluate an approach's ``ability to explain''. This article offers a field guide to explore the space of explainable deep learning aimed at those uninitiated in the field. The field guide: i) Introduces three simple dimensions defining the space of foundational methods that contribute to explainable deep learning, ii) discusses the evaluations for model explanations, iii) places explainability in the context of other related deep learning research areas, and iv) finally elaborates on user-oriented explanation designing and potential future directions on explainable deep learning. We hope the guide is used as an easy-to-digest starting point for those just embarking on research in this field.

연구 동기 및 목표

• 간단한 3차원 공간을 정의하여 기본적인 설명 가능한 DNN 방법을 분류합니다.
• 모델 설명의 평가 방법을 요약합니다.
• 설명 가능성과 관련된 딥 러닝 연구 영역과의 맥락을 설명합니다.
• 설명 가능한 DNN 시스템 구축을 위한 디자이너 지향 가이드를 제공합니다.
• 새로운 연구 과제를 안내하기 위한 향후 방향과 한계를 강조합니다.

제안 방법

• 설명 가능한 DNN 방법의 3차원 분류 체계를 소개합니다: Visualization, Model Distillation, Intrinsic 방법.
• 역전파 기반 및 섭동 기반 접근법을 포함한 시각화 기법과 일반적으로 사용되는 형태인 saliency 맵과 heatmap을 설명합니다.
• 해석 가능성을 위해 DNN 행동을 모방하는 화이트박스 모델을 생성하는 모델 증류를 설명합니다.
• 성능과 설명 가능성을 공동 최적화하기 위해 모델 설계에 설명을 내재시키는 Intrinsic 방법을 설명합니다.
• 대표적 방법(CAM/Grad-CAM, LRP, DeepLIFT, Integrated Gradients)과 그 기초 아이디어를 조사합니다.
• 설명 가능한 시스템에 대한 평가 고려사항과 사용자 지향 설계 함의를 논의합니다.

실험 결과

연구 질문

• RQ1 기초 설명 가능한 DNN 방법을 분류하는 최소한의 직관적 3차원 분류 체계는 무엇인가요?
• RQ2 설명을 어떻게 평가하고 신뢰성 및 유용성을 위해 검증해야 하나요?
• RQ3 설명 가능성과 딥 러닝 및 AI의 인접 연구 영역은 어떻게 연계되나요?
• RQ4 설명 가능한 DNN 시스템을 구축할 때 디자이너가 고려해야 할 실용적 요소는 무엇인가요?
• RQ5 향후 설명 가능성 연구의 한계와 유망한 방향은 무엇인가요?

주요 결과

• 논문은 기초적인 설명 가능한 DNN 방법을 분류하는 간단한 3차원 공간을 제공합니다: Visualization, Model Distillation, Intrinsic 방법.
• 시각화 방법은 역전파 기반과 섭동 기반 접근법으로 하위 분류되며 일반적으로 saliency 또는 heatmap으로 제시됩니다.
• 활성화 최대화, 역투사, CAM/Grad-CAM, 그리고 LRP, DeepLIFT, Integrated Gradients와 같은 다양한 관련성 기반 방법이 기초 시각화 기법으로 포함됩니다.
• 모델 증류는 DNN의 의사결정 규칙을 밝히기 위해 화이트박스 대리 모델을 도입합니다.
• Intrinsic 방법은 모델 설계에 설명을 내재화하여 성능과 해석 가능성의 공동 최적화를 가능하게 합니다.
• 가이드는 평가, 관련 분야와의 보완성, 그리고 최종 사용자에 대한 실용적 설계 고려사항을 다룹니다.