[논문 리뷰] Sanity Checks for Saliency Maps

Julius Adebayo, Justin Gilmer외 4명|arXiv (Cornell University)|2018. 10. 08.

Visual Attention and Saliency Detection인용 수 604

한 줄 요약

이 논문은 주의 맵(saliency map)이 제공하는 설명을 평가하기 위한 실행 가능한 방법론을 제시하며, 일부 방법은 모델이나 데이터로부터 독립적일 수 있어 특정 데이터- 또는 모델에 민감한 작업에 부적합하다는 것을 보여준다.

ABSTRACT

Saliency methods have emerged as a popular tool to highlight features in an input deemed relevant for the prediction of a learned model. Several saliency methods have been proposed, often guided by visual appeal on image data. In this work, we propose an actionable methodology to evaluate what kinds of explanations a given method can and cannot provide. We find that reliance, solely, on visual assessment can be misleading. Through extensive experiments we show that some existing saliency methods are independent both of the model and of the data generating process. Consequently, methods that fail the proposed tests are inadequate for tasks that are sensitive to either data or model, such as, finding outliers in the data, explaining the relationship between inputs and outputs that the model learned, and debugging the model. We interpret our findings through an analogy with edge detection in images, a technique that requires neither training data nor model. Theory in the case of a linear model and a single-layer convolutional neural network supports our experimental findings.

연구 동기 및 목표

• 시각적 검사 그 이상으로 주의 설명에 대한 실용적인 평가 프레임워크를 동기 부여한다.
• 주의 방법이 실제로 학습된 모델과 데이터 생성 과정에 의존하는지 조사한다.
• 디버깅 및 이상치 탐지와 같은 주의 설명이 지원할 수 있는 작업과 그렇지 못한 작업을 식별한다.

제안 방법

• 모델 및 데이터에 대한 의존성을 조사하여 주의 방법을 테스트하는 방법론을 제안한다.
• 모델/데이터 변화에 대한 민감도를 평가하기 위해 주의 방법들에 걸쳐 광범위한 실험을 수행한다.
• 선형 모델과 단일 층 CNN을 사용하여 실증적 결과에 이론적 뒷받침을 제공한다.
• 결과를 해석하기 위해 이미지의 에지 검출에 비유를 든다.
• 결론을 보존하면서 버그를 수정하기 위한 Guided Backprop 실험의 업데이트를 보고한다.

실험 결과

연구 질문

• RQ1 주요 주의 설명이 학습에 사용된 특정 모델이나 데이터에 의존하는가?
• RQ2 일부 주의 방법이 모델 또는 데이터 변화에 불변하는가, 그리고 이것이 어떤 작업에 영향을 미치는가?
• RQ3 주석 맵이 디버깅이나 이상치 탐지를 위해 입력과 출력 간의 관계를 신뢰성 있게 드러낼 수 있는가?
• RQ4 간단한 모델의 이론적 통찰이 복잡한 모델의 실증적 결과와 일치하는가?

주요 결과

• 일부 주의 방법은 모델과 데이터 생성 과정 모두로부터 독립적이다.
• 제안된 테스트에 실패한 방법은 데이터 또는 모델에 민감한 작업에 부적합하다.
• 에지 검출 비유는 설명이 최소한의 학습 데이터나 모델이 필요할 때를 해석하는 데 도움이 된다.
• 선형 모델과 단일 계층 CNN의 이론적 뒷받침이 실증 결과와 일치한다.
• 버그로 인해 Guided Backprop 실험이 업데이트되었지만 전반적인 결론은 변하지 않았다.