[논문 리뷰] Explainable Artificial Intelligence: Understanding, Visualizing and Interpreting Deep Learning Models

Wojciech Samek, Thomas Wiegand외 1명|arXiv (Cornell University)|2017. 08. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 1,015

한 줄 요약

이 논문은 설명 가능한 AI의 필요성을 검토하고 두 가지 예측 설명 방법인 Sensitivity Analysis (SA)와 Layer-Wise Relevance Propagation (LRP)를 제시하며 이미지, 텍스트, 비디오 작업 전반에 걸쳐 평가합니다. LRP가 SA보다 더 정보적이고 보존성 기반의 설명을 제공한다고 주장하고 평가 방법 및 향후 방향에 대해 논의합니다.

ABSTRACT

With the availability of large databases and recent improvements in deep learning methodology, the performance of AI systems is reaching or even exceeding the human level on an increasing number of complex tasks. Impressive examples of this development can be found in domains such as image classification, sentiment analysis, speech understanding or strategic game playing. However, because of their nested non-linear structure, these highly successful machine learning and artificial intelligence models are usually applied in a black box manner, i.e., no information is provided about what exactly makes them arrive at their predictions. Since this lack of transparency can be a major drawback, e.g., in medical applications, the development of methods for visualizing, explaining and interpreting deep learning models has recently attracted increasing attention. This paper summarizes recent developments in this field and makes a plea for more interpretability in artificial intelligence. Furthermore, it presents two approaches to explaining predictions of deep learning models, one method which computes the sensitivity of the prediction with respect to changes in the input and one approach which meaningfully decomposes the decision in terms of the input variables. These methods are evaluated on three classification tasks.

연구 동기 및 목표

• 안전에 중요하고 법적으로 관련된 영역에서 설명 가능한 AI의 필요성을 동기 부여한다.
• 심층학습 모델을 위한 두 가지 예측 설명 방법(SA와 LRP)을 제시한다.
• 설명 품질을 객관적으로 평가할 수 있는 방법을 제시한다.
• 이미지, 텍스트, 비디오 작업에서 SA와 LRP의 실증적 비교를 보여준다.

제안 방법

• 일반적인 설명 워크플로우에서 설명 방법이 예측에 대한 입력 중요도를 강조하는 히트맵을 생성하는 과정을 설명한다.
• 국지적 그래디언트 기반 중요도 측정으로서 Sensitivity Analysis(SA)를 소개한다.
• 입력 변수들 간의 관련성을 보존하는 방식으로 예측을 분해하는 방법으로서 Layer-Wise Relevance Propagation(LRP)을 소개한다.
• LRP 재분배 규칙을 설명한다. 여기에는 간단한 규칙과 관련성 보존이 포함된 알파-베타 규칙이 포함된다.
• 실무 구현을 위한 LRP 툴박스의 이용 가능성을 언급한다.
• LRP와 Deep Taylor 분해 및 ReLU 네트워크의 연결에 대해 논의한다.

실험 결과

연구 질문

• RQ1 심층 학습 모델의 예측을 입력 변수 측면에서 어떻게 설명할 수 있는가?
• RQ2 SA와 LRP가 심층 모델에 대해 질적으로 및 양적으로 다른 설명을 생성하는가?
• RQ3 객관적인 섭동 기반 평가가 어떤 설명 방법이 더 충실한지 밝힐 수 있는가?
• RQ4 설명 방법들이 서로 다른 데이터 모달리티(이미지, 텍스트, 비디오)에서 어떻게 작동하는가?

주요 결과

• LRP 히트맵은 이미지 분류에서 SA 히트맵보다 잡음이 적고 인간 직관과 더 잘 정렬되는 경향이 있다.
• LRP는 텍스트 분류에서 SA와 달리 긍정적 및 부정적 증거를 구분한다.
• 섹션 기반 평가에서 LRP에 기반한 설명은 가장 관련성이 높은 특징들이 섭동될 때 예측 점수가 더 빨리 하락하는 경향을 보이며, SA보다 더 나은 설명 품질을 시사한다.
• 비디오 동작 인식에서 LRP는 실제 동작과 관련된 프레임과 영역을 강조한다.
• 본 논문은 설명 가능성이 검증, 개선, 모델로부터의 학습 및 규제 준수를 위한 필수적 요소라고 주장한다.