[논문 리뷰] Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

Arun Das, Paul Rad|arXiv (Cornell University)|2020. 06. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 122인용 수 492

한 줄 요약

이 논문은 심층 학습을 위한 설명가능한 AI(XAI) 환경을 조사하고, 분류 체계, 기념적 연구의 수학적 요약, 평가 통찰 및 2007년부터 2020년까지의 핵심 발전 타임라인을 제시하며, 이미지 데이터에 대한 여덟 가지 XAI 알고리즘의 실증 평가를 포함한다.

ABSTRACT

Nowadays, deep neural networks are widely used in mission critical systems such as healthcare, self-driving vehicles, and military which have direct impact on human lives. However, the black-box nature of deep neural networks challenges its use in mission critical applications, raising ethical and judicial concerns inducing lack of trust. Explainable Artificial Intelligence (XAI) is a field of Artificial Intelligence (AI) that promotes a set of tools, techniques, and algorithms that can generate high-quality interpretable, intuitive, human-understandable explanations of AI decisions. In addition to providing a holistic view of the current XAI landscape in deep learning, this paper provides mathematical summaries of seminal work. We start by proposing a taxonomy and categorizing the XAI techniques based on their scope of explanations, methodology behind the algorithms, and explanation level or usage which helps build trustworthy, interpretable, and self-explanatory deep learning models. We then describe the main principles used in XAI research and present the historical timeline for landmark studies in XAI from 2007 to 2020. After explaining each category of algorithms and approaches in detail, we then evaluate the explanation maps generated by eight XAI algorithms on image data, discuss the limitations of this approach, and provide potential future directions to improve XAI evaluation.

연구 동기 및 목표

• XAI의 범위, 방법론, 사용법에 따른 분류체계를 제안하여 설명가능성 지형을 명확히 한다.
• XAI의 핵심 수학적 모델과 알고리즘을 요약하고 분류한다.
• 이미지 데이터에 대한 여덟 개 XAI 알고리즘의 설명 맵을 평가하여 한계점을 파악하고 향후 연구를 안내한다.
• 평가 전략, 한계점, 그리고 DNN 설명의 신뢰성, 투명성, 공정성을 개선하기 위한 미래 방향을 논의한다.
• 오픈소스 소프트웨어 참고자료와 2007년에서 2020년까지의 landmark XAI 연구 타임라인을 제공한다.

제안 방법

• 로컬/글로벌 범위에 대해 XAI 기술을 분류하고 역전파 기반, 섭동 기반, 혹은 고유(내재) 방식으로 구분한다.
• 용도에 따라 모델 내재적(model-intrinsic) 또는 포스트호크(post-hoc) 및 모델 무관성 적용 가능 여부로 방법을 분류한다.
• 주요 XAI 알고리즘의 수학적 개요와 표준 표기법을 제공한다.
• XAI 설명에 대한 평가 방법을 제시하고 한계를 논의한다.
• 이미지 데이터에서 설명 맵을 사용해 여덟 개의 XAI 알고리즘을 비교하여 실용적 동작을 보여준다.
• 랜드마크 XAI 논문의 타임라인과 오픈소스 소프트웨어 구현의 조사를 제공한다.

실험 결과

연구 질문

• RQ1 깊은 학습에서 설명가능한 AI의 주된 분류체계는 범위, 방법론, 사용 측면에서 무엇인가?
• RQ2 제안된 분류체계 안에서 기념적인 XAI 알고리즘을 수학적으로 요약하고 분류할 수 있는가?
• RQ3 다양한 모달리티에서 XAI 설명에 대한 현재 평가 방법의 강점과 한계는 무엇인가?
• RQ4 이미지 데이터에 대한 설명 맵을 생성할 때 여덟 가지 대표적인 XAI 알고리즘은 어떻게 작동하며, 그들이 제시하는 미래 방향은 무엇인가?
• RQ5 오픈소스 도구가 XAI 방법을 어떻게 지원하고, 그것들이 조사된 분류체계와 어떻게 일치하는가?

주요 결과

• 저자들은 범위, 방법론, 사용에 따라 XAI 접근법을 조직하기 위한 세 가지 잘 정의된 분류체계를 제안한다.
• 그들은 기념적 XAI 방법의 수학적 요약과 2007년에서 2020년까지의 역사적 타임라인을 제공한다.
• 그들은 이미지 데이터에서 여덟 개의 XAI 알고리즘을 평가하여 설명 생성을 설명하고 평가 한계를 논의한다.
• 설문조사는 AI 시스템의 신뢰성, 투명성, 공정성을 향상시키기 위한 설명의 바람직한 특성에 대해 논의한다.
• 논문은 인기 있는 오픈소스 소프트웨어 구현의 가용성을 강조하고 모델 무관적 포스트호크 설명을 실용적 초점으로 강조한다.
• 주요 XAI 연구의 타임라인이 제공되어 이 분야의 급속한 발전을 맥락화한다.