[논문 리뷰] Information-Theoretic Visual Explanation for Black-Box Classifiers

Jihun Yi, Eunji Kim외 2명|arXiv (Cornell University)|2020. 09. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 6

한 줄 요약

이 논문은 정보이론적 프레임워크를 제안하여 블랙박스 이미지 분류기의 해석을 위해 두 가지 새로운 기여도 맵, 정보량 증가(IG)와 점별 상호정보량(PMI)을 사용한다. 조건부 생성 모델을 활용해 입력 특징을 정확하게 근사함으로써, 펌프리케이션 기반 설명에서 발생하는 분포 이탈 문제를 피함으로써 더 신뢰할 수 있고 이론적으로 타당한 시각적 열매 맵을 제공한다. 이는 클래스에 독립적인(IG) 및 클래스에 특화된(PMI) 해석을 가능하게 하며, 기존 방법에 비해 향상된 정량적 성능을 보인다.

ABSTRACT

In this work, we attempt to explain the prediction of any black-box classifier from an information-theoretic perspective. For each input feature, we compare the classifier outputs with and without that feature using two information-theoretic metrics. Accordingly, we obtain two attribution maps--an information gain (IG) map and a point-wise mutual information (PMI) map. IG map provides a class-independent answer to "How informative is each pixel?", and PMI map offers a class-specific explanation of "How much does each pixel support a specific class?" Compared to existing methods, our method improves the correctness of the attribution maps in terms of a quantitative metric. We also provide a detailed analysis of an ImageNet classifier using the proposed method, and the code is available online.

연구 동기 및 목표

• 딥 네트워크를 위한 기존 펌프리케이션 기반 설명 방법의 부정확성 문제를 해결하기 위해.
• 특징 제거 시 발생하는 분포 외부(OoD) 문제를 극복하여 잘못된 기여도를 방지하기 위해.
• 클래스에 독립적이고 클래스에 특화된 해석을 모두 지원하는 이론적으로 타당한 정보이론적 설명 프레임워크를 제공하기 위해.
• 정보량 증가 및 점별 상호정보량과 같은 정보이론적 지표를 사용하여 기여도 맵의 정량적 정확성을 향상시키기 위해.
• 신뢰할 수 있고 이론에 기반한 시각적 설명을 통해 ImageNet 기반 분류 모델의 더 깊은 이해를 가능하게 하기 위해.

제안 방법

• 입력 특징의 정확한 근사를 위해 조건부 생성 모델(PatchSampler)을 사용하여 특징 제거 시 분포 이탈 문제를 방지한다.
• 각 픽셀이 분류기의 총 불확실성 감소에 기여하는 정도를 측정하기 위해 정보량 증가(IG)를 클래스에 독립적인 지표로 활용한다.
• 특정 클래스를 지지하거나 반박하는 데 각 픽셀이 기여하는 정도를 측정하기 위해 점별 상호정보량(PMI)을 클래스에 특화된 지표로 도입한다.
• IG 및 PMI 맵을 사용해 입력 이미지의 주요 영역을 시각화하며, IG는 정보가 많은 픽셀을 강조하고 PMI는 특정 클래스에 대한 증거 또는 반증을 보여준다.
• 두 단계 펌프리케이션 기반 방법을 적용한다: (1) 생성 모델을 사용해 특징이 제거된 상태에서 분류기 출력을 정확하게 추정하고, (2) 특징 유무에 따른 예측을 정보이론적으로 비교한다.
• 이미지의 맥락에 따라 픽셀 분포를 모델링하기 위해 PatchSampler를 ImageNet에서 훈련하여, 근사 과정에서 누락된 이미지 영역을 현실적으로 복원할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 특징 제거 시 발생하는 분포 이탈(OoD) 문제를 해결함으로써, 블랙박스 이미지 분류기에서 기여도 맵의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ2 정보량 증가 및 점별 상호정보량과 같은 정보이론적 지표가 기존의 펌프리케이션 기반 방법보다 더 신뢰성 있고 해석 가능한 설명을 제공할 수 있는가?
• RQ3 제안된 IG 및 PMI 맵은 기존의 설명 방법에 비해 정량 평가 지표에서 얼마나 향상되는가?
• RQ4 생성 모델을 사용해 데이터 분포를 유지하면서 특징를 근사함으로써 설명 품질을 향상시킬 수 있는가?
• RQ5 제안된 방법은 기존 접근법에서 확보할 수 없었던 고유한 이해 능력—예를 들어 클래스에 독립적인 열매 맵과 클래스에 특화된 증거—를 제공하는가?

주요 결과

• 표준 평가 지표를 통해 검증된 바, 제안된 방법은 기존 방법에 비해 더 높은 정량적 정확도를 보이는 기여도 맵을 달성한다.
• 조건부 생성 모델인 PatchSampler의 사용으로 OoD 문제를 크게 줄여, 비현실적인 이미지 펌프리케이션으로 인한 잘못된 기여도를 방지한다.
• IG 맵은 클래스에 독립적인 설명을 제공하여, 예측 클래스와 관계없이 분류기의 불확실성 감소에 기여하는 영역을 강조한다.
• PMI 맵은 클래스에 특화된 통찰을 제공하여, 특정 클래스를 지지하거나 반박하는 픽셀을 식별한다—예를 들어 '풍선' 클래스에 대해 천이 증거로 작용하고绳이 반증으로 작용한다.
• 정성적 및 정량적 평가에서 기존의 기여도 기반 기법인 샐리언시 맵, Grad-CAM, 통합 기울기, RISE보다 성능이 뛰어나다.
• 코드는 https://github.com/nuclearboy95/XAI-Information-Theoretic-Explanation 에 공개되어 있어 재현성과 향후 연구를 가능하게 한다.