[논문 리뷰] Restricting the Flow: Information Bottlenecks for Attribution

Karl Schulz, Leon Sixt외 2명|arXiv (Cornell University)|2020. 01. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 55

한 줄 요약

논문은 정보 병목 개념을 attribution에 적용하기 위해 중간 특징 맵에 노이즈를 추가하여 이미지 영역이 제공하는 정보의 양을 정량화하고, 여러 설정에서 기존 방법들(baselines)보다 이점이 있음을 보인다.

ABSTRACT

Attribution methods provide insights into the decision-making of machine learning models like artificial neural networks. For a given input sample, they assign a relevance score to each individual input variable, such as the pixels of an image. In this work we adapt the information bottleneck concept for attribution. By adding noise to intermediate feature maps we restrict the flow of information and can quantify (in bits) how much information image regions provide. We compare our method against ten baselines using three different metrics on VGG-16 and ResNet-50, and find that our methods outperform all baselines in five out of six settings. The method's information-theoretic foundation provides an absolute frame of reference for attribution values (bits) and a guarantee that regions scored close to zero are not necessary for the network's decision. For reviews: https://openreview.net/forum?id=S1xWh1rYwB For code: https://github.com/BioroboticsLab/IBA

연구 동기 및 목표

• 신경망에서 특징 Attribution을 위한 정보 병목 개념을 적용한다.
• 중간 특징 맵에 노이즈를 추가하여 이미지 영역의 정보 기여를 비트 단위로 정량화한다.
• 제안된 방법을 표준 CNN 아키텍처를 사용한 attribution 작업에서 다수의 baselines와 비교한다.

제안 방법

• attribution을 위한 정보 흐름을 제한하기 위해 중간 특징 맵에 노이즈를 도입한다.
• 결정에 기여하는 이미지 영역의 정보 내용을 비트 단위로 정량화한다.
• VGG-16과 ResNet-50에서 세 가지 지표로 열 가지 baselines와 비교평가한다.
• 비트 단위의 attribution 값에 대해 절대 기준을 제공하는 정보 이론적 기초를 제시한다.
• 0에 가깝게 점수가 매겨진 영역이 네트워크 결정에 필요하지 않음을 보장한다.

실험 결과

연구 질문

• RQ1 정보 병목이 이미지 영역에 대한 원리적이고 비트 단위의 attribution 측정을 제공할 수 있는가?
• RQ2 제안된 병목 기반 attribution은 표준 CNN 아키텍처와 지표에서 기존 baselines와 어떻게 비교되는가?
• RQ3 설정 전반에 걸쳐 거의 0에 가까운 영역이 결정에 필수적이지 않음을 방법이 보장하는가?

주요 결과

• 방법은 여섯 가지 설정 중 다섯 가지에서 모든 baselines를 능가한다.
• 정보 이론적 기초는 비트 단위의 attribution 값에 대한 절대 기준을 제공한다.
• 본 접근 방식에 따르면 0에 가까운 점수를 받은 영역은 네트워크의 결정에 필요하지 않다.