[논문 리뷰] Interpretable Deep Learning: Interpretation, Interpretability, Trustworthiness, and Beyond

Xuhong Li, Haoyi Xiong외 6명|arXiv (Cornell University)|2021. 03. 19.

Adversarial Robustness in Machine Learning인용 수 29

한 줄 요약

포괄적인 고찰은 해석과 해석 가능성의 해석 차이를 명확히 하고, 해석 알고리즘의 3차원 분류체계를 제시하며, 신뢰성 평가를 수행하고, 해석을 관련 주제 및 오픈 소스 도구와 연결합니다.

ABSTRACT

Deep neural networks have been well-known for their superb handling of various machine learning and artificial intelligence tasks. However, due to their over-parameterized black-box nature, it is often difficult to understand the prediction results of deep models. In recent years, many interpretation tools have been proposed to explain or reveal how deep models make decisions. In this paper, we review this line of research and try to make a comprehensive survey. Specifically, we first introduce and clarify two basic concepts -- interpretations and interpretability -- that people usually get confused about. To address the research efforts in interpretations, we elaborate the designs of a number of interpretation algorithms, from different perspectives, by proposing a new taxonomy. Then, to understand the interpretation results, we also survey the performance metrics for evaluating interpretation algorithms. Further, we summarize the current works in evaluating models' interpretability using "trustworthy" interpretation algorithms. Finally, we review and discuss the connections between deep models' interpretations and other factors, such as adversarial robustness and learning from interpretations, and we introduce several open-source libraries for interpretation algorithms and evaluation approaches.

연구 동기 및 목표

• 해석과 모델 해석 가능성 사이의 구분을 명확히 한다.
• 해석 알고리즘에 대한 3차원 분류체계(표현, 모델 유형, 모델과의 관계)를 제안한다.
• 해석 알고리즘의 신뢰성 및 모델 해석 가능성 평가 접근법을 검토한다.
• 해석과 강건성, 적대적 예시, 해석으로부터의 학습 등과 같은 주제 간의 연결을 논의한다.
• 깊은 모델의 연구 및 감사에 대한 실용적 함의와 오픈 소스 라이브러리를 소개한다.

제안 방법

• 해석 알고리즘을 분류하는 3차원 분류체계(표현, 대상 모델 유형, 모델과의 관계)를 제안한다.
• 광범위한 해석 방법을 조사한다(로컬/글로벌 특징 중요도, 섭동, 기울기, CAM/Grad-CAM, 섭동, 반사실들, 프로토타입, TCAV 등).
• 해석 알고리즘과 모델 해석 가능성의 핵심 기준으로서의 신뢰성을 정의하고 논의한다.
• 섭동 기반 및 그라운드 트루스/전문가 접근법을 포함한 신뢰성과 해석 가능성 평가 방법을 분석한다.
• 해석이 자기해석 가능한 및 완전 해석 가능한 모델 및 더 넓은 주제(강건성, 데이터 중심 학습, 과학적 발견)와 어떻게 연결되는지 논의한다.
• 해석 및 평가를 위한 지침을 제공하고 오픈 소스 라이브러리를 언급한다.

실험 결과

연구 질문

• RQ1 해석, 해석 알고리즘, 그리고 모델 해석 가능성 사이의 정확한 관계는 무엇인가?
• RQ2 해석 알고리즘을 다양하게 다루기 위해 분류학적으로 어떻게 조직할 수 있나?
• RQ3 해석과 모델 해석 가능성의 신뢰성을 어떻게 정의하고 측정하며 보장할 것인가?
• RQ4 해석 결과와 적대적 강건성, 데이터 해석 등과 같은 다른 측면 간의 연결고리는 무엇인가?
• RQ5 해석 연구 및 평가를 지원하는 라이브러리와 자원은 무엇인가?

주요 결과

• 본 논문은 해석(설명)과 모델 해석 가능성(모델의 고유한 특성) 사이의 구분을 명확히 한다.
• 해석 알고리즘에 대한 새로운 3차원 분류체계가 제안된다: 해석의 표현, 대상 모델 유형, 및 모델과의 관계.
• 신뢰성은 해석 및 평가의 중심 바람직 요건으로 식별되며, 측정상의 과제에 대한 논의가 수반된다.
• 해석을 적대적 강건성, 해석으로부터의 학습, 자기/해석가능 모델 등과 같은 관련 주제들과 연결한다.
• 해석 및 해석 가능성에 대한 오픈 소스 라이브러리와 평가 방법이 개관된다.
• 본 연구는 해석 가능성이 인간 중심적이며 종종 절대적 Ground Truth가 부족하므로 구조화된 평가 프레임워크의 필요성을 강조한다.