[논문 리뷰] Visual Explanation by Interpretation: Improving Visual Feedback Capabilities of Deep Neural Networks

José Oramas, Kaili Wang외 1명|arXiv (Cornell University)|2017. 12. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 36인용 수 26

한 줄 요약

이 논문은 분류 작업을 위한 관련 내부 특징을 자동으로 식별하고, 수정된 역편향 방법을 사용하여 고해상도이자 아티팩트가 감소된 시각적 설명을 생성함으로써 딥 네ural 네트워크의 시각적 피드백을 향상시키는 방법을 제안한다. 모델의 설명 가능성에 대한 객관적이고 정량적인 평가를 위해 새로운 데이터셋 an8Flower를 도입하였으며, 추가적인 애너테이션 없이도 뛰어난 특징 커버리지와 해석 가능성의 성능을 입증하였다.

ABSTRACT

Interpretation and explanation of deep models is critical towards wide adoption of systems that rely on them. In this paper, we propose a novel scheme for both interpretation as well as explanation in which, given a pretrained model, we automatically identify internal features relevant for the set of classes considered by the model, without relying on additional annotations. We interpret the model through average visualizations of this reduced set of features. Then, at test time, we explain the network prediction by accompanying the predicted class label with supporting visualizations derived from the identified features. In addition, we propose a method to address the artifacts introduced by stridded operations in deconvNet-based visualizations. Moreover, we introduce an8Flower, a dataset specifically designed for objective quantitative evaluation of methods for visual explanation.Experiments on the MNIST,ILSVRC12,Fashion144k and an8Flower datasets show that our method produces detailed explanations with good coverage of relevant features of the classes of interest

연구 동기 및 목표

• 딥 네럴 네트워크에서 예측 결과를 시각적으로 기술할 수 있도록 모델의 해석과 설명 사이의 격차를 메우기.
• 기존 학습 레이블을 활용하여 픽셀 단위의 애너테이션에 의존하지 않고도 시각적 설명을 생성함으로써 비용이 많이 드는 픽셀 단위의 애너테이션을 제거하기.
• 스트라이드 연산으로 인해 발생하는 역편향 기반 시각화 방법의 아티팩트 문제를 해결하기.
• 새로운 합성 데이터셋 an8Flower를 통해 설명 방법의 객관적이고 정량적인 평가를 위한 기준을 제공하기.
• 네트워크 필터의 희소하고 작업에 관련된 부분집합에 집중함으로써 시각 피드백의 품질과 관련성 향상하기.

제안 방법

• 목표 클래스를 가장 잘 예측하는 최소한의 내부 필터를 식별하기 위해 필터 선택 문제를 μ-라소 최적화 문제로 수식화한다.
• 선택된 필터들의 평균 시각화를 생성하여 모델이 학습한 표현을 해석한다.
• 테스트 시점에, 스트라이드 레이어에서 발생하는 아티팩트를 줄이는 수정된 역편향 기반 방법을 사용해 선택된 필터의 활성화를 역전파하여 클래스별 히트맵을 생성한다.
• 공간 정밀도와 특징 국소화를 향상시키기 위해 역편향 파이프라인 내부에서 가이드드 백프로파게이션을 활용한다.
• 제어된 분류 특징을 가진 합성 데이터셋 an8Flower를 도입하여 정확한 마스크 생성을 가능하게 하여 정량적 평가를 지원한다.
• 예측 클래스에 따라 시각화가 의미 있게 변화하는지 확인하기 위해 클래스 민감도 분석을 통해 설명 품질을 평가한다.

실험 결과

연구 질문

• RQ1 DNN 기반 설명 방법이 추가적인 픽셀 단위의 애너테이션 없이도 고품질의 아티팩트 없는 시각적 피드백을 제공할 수 있는가?
• RQ2 사전 학습된 모델에서 주어진 클래스에 대해 내부 특징의 관련성을 자동으로 식별할 수 있는가?
• RQ3 시각적 설명이 예측된 클래스에 얼마나 민감하게 반응하는가? 이는 모델의 결정을 반영하는지, 입력 아티팩트에 의해 영향을 받는지 확인하기 위함이다.
• RQ4 객관적이고 정량적인 설명 방법 평가를 가능하게 하기 위해 합성 데이터셋을 설계할 수 있는가?
• RQ5 기존의 설명 기법과 비교할 때 제안된 방법은 특징 커버리지와 시각적 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 MNIST, ILSVRC12, Fashion144k 및 an8Flower 데이터셋 전반에 걸쳐 관련 특징을 강력하게 커버하는 세밀한 시각적 설명을 생성한다.
• μ-라소를 활용한 필터 선택을 통해 목표 클래스를 매우 예측력 있게 만드는 희소하고 의미 있는 필터 집합을 식별한다.
• 수정된 역편향 파이프라인은 스트라이드 연산으로 인한 아티팩트를 크게 줄여 기존 DeconvNet 대비 시각화 품질을 향상시킨다.
• 모델의 결정에 관련된 설명을 잘 반영함을 입증하기 위해, 다른 클래스에 대해 예측된 설명은 서로 다른 영역을 강조한다.
• an8Flower 데이터셋은 정량적 평가를 위한 객관적 기준을 제공하며, 비교를 위한 참조 마스크가 제공된다.
• 사용자 연구가 평가에 필요로 하지 않으며, 측정 가능한 지표를 가진 제어된 재현 가능한 벤치마크를 통해 방법의 성능이 검증된다.