[논문 리뷰] Interpretable Deep Learning: Interpretations, Interpretability, Trustworthiness, and Beyond.

Xuhong Li, Haoyi Xiong외 6명|arXiv (Cornell University)|2021. 03. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 137인용 수 4

한 줄 요약

이 논문은 해석 가능한 딥러닝에 대한 종합적인 서베이를 제공하며, 해석과 해석 가능성의 핵심 개념을 명확히 하고, 해석 알고리즘을 위한 새로운 분류 체계를 제안하며, 그 성능과 신뢰성에 대해 평가한다. 또한 적대적 견고성 및 데이터 증강과의 연관성도 탐구하고, 구현을 위한 오픈소스 도구를 제공한다.

ABSTRACT

Deep neural networks have been well-known for their superb performance in handling various machine learning and artificial intelligence tasks. However, due to their over-parameterized black-box nature, it is often difficult to understand the prediction results of deep models. In recent years, many interpretation tools have been proposed to explain or reveal the ways that deep models make decisions. In this paper, we review this line of research and try to make a comprehensive survey. Specifically, we introduce and clarify two basic concepts-interpretations and interpretability-that people usually get confused. First of all, to address the research efforts in interpretations, we elaborate the design of several recent interpretation algorithms, from different perspectives, through proposing a new taxonomy. Then, to understand the results of interpretation, we also survey the performance metrics for evaluating interpretation algorithms. Further, we summarize the existing work in evaluating models' interpretability using trustworthy interpretation algorithms. Finally, we review and discuss the connections between deep models' interpretations and other factors, such as adversarial robustness and data augmentations, and we introduce several open-source libraries for interpretation algorithms and evaluation approaches.

연구 동기 및 목표

• 딥러닝에서 자주 혼동되는 '해석'과 '해석 가능성'의 차이를 명확히 하기 위해.
• 설계 원칙과 목표에 기반해 최근 해석 알고리즘을 체계적으로 분류하기 위해.
• 해석 알고리즘 평가에 사용되는 성능 메트릭을 조사하고 평가하기 위해.
• 신뢰할 수 있는 해석 방법이 모델의 해석 가능성과 신뢰성 향상에 어떻게 기여할 수 있는지 분석하기 위해.
• 모델 해석, 적대적 견고성, 데이터 증강 기법 간의 상호작용을 탐구하기 위해.

제안 방법

• 기본 메커니즘과 목표에 기반해 해석 알고리즘을 분류하는 새로운 분류 체계를 제안한다.
• 다양한 시각화 기법들인 샐리언시 맵, 어텐션 시각화, 개념 활성화 등을 다각도에서 검토하고 분류한다.
• 신뢰성, 안정성, 충실도 등 표준화된 성능 메트릭을 사용해 해석 알고리즘을 평가한다.
• 신뢰할 수 있는 해석의 역할이 모델의 투명성 향상과 사용자 신뢰도 향상에 어떻게 기여하는지 분석한다.
• 적대적 예제와 데이터 증강이 해석 품질과 모델 동작에 미치는 영향을 탐구한다.
• 해석 방법의 구현 및 평가를 지원하기 위한 오픈소스 라이브러리들을 추천하고 문서화한다.

실험 결과

연구 질문

• RQ1 해석과 해석 가능성의 개념은 어떻게 다릅니다. 그리고 딥러닝에서 이러한 구분이 중요한 이유는 무엇입니까?
• RQ2 현대 해석 알고리즘의 핵심 설계 원칙과 카테고리는 무엇이며, 어떻게 체계적으로 분류할 수 있습니까?
• RQ3 해석 방법의 품질과 신뢰성 평가에 가장 효과적인 성능 메트릭은 무엇입니까?
• RQ4 신뢰할 수 있는 해석 알고리즘이 딥 모델의 해석 가능성과 신뢰성 향상에 어떻게 기여할 수 있습니까?
• RQ5 모델 해석과 적대적 견고성, 데이터 증강 등의 요소 간의 관계는 어떻게 됩니까?

주요 결과

• '해석'(모델에 특화된 설명)과 '해석 가능성'(모델의 본질적 설명 가능성)의 차이는 철저한 평가에 있어 핵심적이다.
• 해석 알고리즘을 위한 새로운 분류 체계는 다양한 설계 목표를 가진 다양한 방법 간의 이해와 비교를 가능하게 한다.
• 충실도, 안정성, 신뢰도는 해석 출력 품질 평가에 핵심적인 메트릭이다.
• 신뢰할 수 있는 해석 방법은 실제 응용에서 사용자 신뢰도와 모델의 신뢰성 향상에 크게 기여한다.
• 적대적 견고성과 데이터 증강은 해석 결과의 일관성과 신뢰성에 영향을 줄 수 있다.
• 해석 기법의 구현 및 평가를 지원하기 위한 여러 오픈소스 라이브러리가 이용 가능하다.