[논문 리뷰] A Simple Saliency Method That Passes the Sanity Checks

Arushi Gupta, Sanjeev Arora|arXiv (Cornell University)|2019. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 5

한 줄 요약

이 논문은 기존의 시각화 방법에 간단하면서도 효과적인 수정을 제안한다: '픽셀 경쟁' 기법. 이는 예측된 클래스 외에도 모든 클래스의 로짓에서 기울기를 고려함으로써 기존 방법의 타당성을 향상시킨다. 이 방법은 경쟁적 기울기 × 입력(CGI)으로 구현되며, 표준적인 타당성 검증(파라미터 및 데이터 무작위화)을 통과하면서도 의미 있는 시각화 맵을 유지한다. 이는 학습이 필요 없고, 추론 파이프라인에 쉽게 통합 가능한 강력한 솔루션이다.

ABSTRACT

There is great interest in "saliency methods" (also called "attribution methods"), which give "explanations" for a deep net's decision, by assigning a "score" to each feature/pixel in the input. Their design usually involves credit-assignment via the gradient of the output with respect to input. Recently Adebayo et al. [arXiv:1810.03292] questioned the validity of many of these methods since they do not pass simple *sanity checks* which test whether the scores shift/vanish when layers of the trained net are randomized, or when the net is retrained using random labels for inputs. We propose a simple fix to existing saliency methods that helps them pass sanity checks, which we call "competition for pixels". This involves computing saliency maps for all possible labels in the classification task, and using a simple competition among them to identify and remove less relevant pixels from the map. The simplest variant of this is "Competitive Gradient $\odot$ Input (CGI)": it is efficient, requires no additional training, and uses only the input and gradient. Some theoretical justification is provided for it (especially for ReLU networks) and its performance is empirically demonstrated.

연구 동기 및 목표

• 다수의 시각화 방법이 모델 가중치나 레이블을 무작위화했을 때도 안정성을 유지하지 못하는 심각한 문제를 해결하기 위해.
• 기존 시각화 방법에 최소한의 학습이 필요 없는 수정을 제안하여, 신뢰성과 해석 가능성을 향상시키기 위해.
• 예측 클래스 외에도 모든 출력 클래스의 기울기를 고려할 경우, 더 강력하고 의미 있는 기여도 맵을 도출할 수 있음을 입증하기 위해.
• 제안된 방법이 엄격한 타당성 테스트를 통과하면서도 원본 시각화 맵의 시각적 정밀도를 유지하는지 검증하기 위해.

제안 방법

• 핵심 아이디어는 입력에 대해 각 클래스의 로짓 기울기를 이용해 모든 가능한 출력 클래스에 대해 시각화 맵을 계산하는 것이다.
• 각 픽셀에 대해, 모든 클래스의 점수는 예측된 클래스에 대한 관련성 결정을 위한 '투표'로 간주된다.
• 예측 클래스에 대한 점수가 다른 어떤 클래스보다 낮을 경우 해당 픽셀은 0으로 설정되어 경쟁적 선택 메커니즘을 구현한다.
• 이 방법은 경쟁적 기울기 × 입력(CGI)으로 수식화되며, 입력과 예측 클래스 로짓의 기울기의 원소별 곱에 의해 정의되며, 후처리 단계에서 경쟁 메커니즘을 적용한다.
• 이 방법은 두 가지 주요 방법에 적용되었으며, 각각 CGI 및 CLRP 버전으로 도출되었다: 기울기 × 입력과 계층별 기여도 전파(LRP).
• 추가 학습이 필요 없으며, 효율적이고 기존 딥러닝 추론 파이프라인과 호환된다.

실험 결과

연구 질문

• RQ1 기존 시각화 방법에 단순하고 학습이 필요 없는 수정을 가했을 때, 모델 파라미터나 데이터 레이블을 무작위화했을 때의 강건성 향상이 가능한가?
• RQ2 예측 클래스 외에도 모든 클래스의 로짓 기울기를 고려할 경우, 더 신뢰할 수 있는 기여도 맵이 도출되는가?
• RQ3 클래스 점수 간의 경쟁 메커니즘이 타당성 검증에서도 지속되는 허구적 시각화 패턴을 제거할 수 있는가?
• RQ4 제안된 방법이 엄격한 타당성 테스트를 통과하면서도 원본 시각화 맵의 해석 가능성과 시각적 품질을 유지하는가?
• RQ5 이 경쟁 메커니즘이 소프트맥스 기울기를 사용하는 것과 같은 대안 전략보다 더 효과적인가?

주요 결과

• CGI는 표준 기울기 × 입력과 달리, 모델 파rameter 무작위화 및 데이터 레이블 무작위화 타당성 검증을 모두 통과한다. 기울기 × 입력은 네트워크가 무작위화된 후에도 유사한 맵을 생성한다.
• 파라미터 무작위화 테스트에서, CGI는 어떤 레이어도 무작위화하면 거의 흰색 맵을 생성하며, 이는 모델의 구조가 손상되었음을 정확히 감지하고 있음을 시사한다.
• 연쇄적 무작위화 실험에서, CGI는 레이어가 무작위화될수록 시각적 구조가 점차 사라지지만, 표준 기울기 × 입력은 새우나 새의 윤곽 같은 명확한 특징을 유지한다.
• 레이블가 무작위화된 MNIST 데이터셋에서, CGI는 숫자 '3'의 명확한 구조를 제거하지만, 표준 기울기 × 입력은 여전히 숫자의 형태를 유지한다. 이는 훈련 데이터 손상에 민감함을 확인한다.
• LRP의 경쟁적 변형인 CLRP 역시 무작위화 조건에서 시각적 구조를 감소시키며, 이는 CGI 기법이 기울기 × 입력 외에도 일반화 가능함을 보여준다.
• 경쟁 메커니즘이 깨끗한 데이터에서의 시각적 품질을 떨어뜨리지 않으면서도 강건성을 향상시켜, 허구적 특징은 제거하고 의미 있는 특징은 유지함을 시사한다.