[논문 리뷰] Revisiting Sanity Checks for Saliency Maps

Gal Yona, Daniel Greenfeld|arXiv (Cornell University)|2021. 10. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 20인용 수 12

한 줄 요약

이 논문은 Adebayo 등이 제안한 시각화 맵의 타당성 검증 방법에 대해 비판적으로 재평가하며, 그들의 결론이 임의의 작업에 특화된 데이터 분포에 의해 왜곡된다고 주장한다. 다중 객체 이미지와 혼합 객체 자극과 같은 통제된 변형을 가진 맞춤형 작업을 설계하여, 가이드드 백프로파게이션과 같은 시각화 방법이 수정된 타당성 검증을 통과할 수 있음을 입증함으로써, 원래의 주장인 이러한 방법들이 모델 아키텍처에 민감하지 않다는 것을 도전한다.

ABSTRACT

Saliency methods are a popular approach for model debugging and explainability. However, in the absence of ground-truth data for what the correct maps should be, evaluating and comparing different approaches remains a long-standing challenge. The sanity checks methodology of Adebayo et al [Neurips 2018] has sought to address this challenge. They argue that some popular saliency methods should not be used for explainability purposes since the maps they produce are not sensitive to the underlying model that is to be explained. Through a causal re-framing of their objective, we argue that their empirical evaluation does not fully establish these conclusions, due to a form of confounding introduced by the tasks they evaluate on. Through various experiments on simple custom tasks we demonstrate that some of their conclusions may indeed be artifacts of the tasks more than a criticism of the saliency methods themselves. More broadly, our work challenges the utility of the sanity check methodology, and further highlights that saliency map evaluation beyond ad-hoc visual examination remains a fundamental challenge.

연구 동기 및 목표

• Adebayo 등이 제안한 시각화 맵 평가를 위한 타당성 검증 방법론의 타당성을 도전하기 위해.
• 원래의 결론, 즉 시각화 방법(예: 가이드드 백프로파게이션)이 모델 아키텍처에 민감하지 않다는 주장이 평가에 사용된 특정 작업에 기인한 결과물인지 조사하기 위해.
• 사전에 알려진 정확한 시각화 맵을 가진 통제된 합성 작업을 설계하여 데이터 분포가 평가 결과에 미치는 영향을 고립시키기 위해.
• 모델에 의존적인 추론이 요구되는 작업에서 평가할 경우 시각화 방법이 수정된 타당성 검증을 통과할 수 있음을 입증하기 위해.
• 현행 타당성 검증 프레임워크가 실무에서 시각화 방법 간의 차이를 구분하는 데 유용한지 의문을 제기하기 위해.

제안 방법

• 원래의 타당성 검증 목표를 인과관계적으로 재구성하여 데이터 생성 분포에 대한 의존성을 명시적으로 만들기.
• MNIST에서 두 가지 맞춤형 작업을 설계: 하나는 모델이 빠진 상단 반을 감지해야 하는 펌터베이션 작업이며, 다른 하나는 숫자를 식별해야 하는 분류 작업이며, 둘 다 정확한 시각화 맵이 알려져 있음.
• 모델이 높은 정확도(0.99)에 도달하도록 훈련시켜 작업에 특화된 표현을 학습하도록 하기.
• 훈련된 모델과 동일한 아키텍처를 가진 무작위로 초기화된 모델에서 일반 백프로파게이션(VBP)과 가이드드 백프로파게이션(GBP)을 사용해 시각화 맵을 생성하기.
• TinyImageNet를 사용해 ImageNet으로 확장하여, 혼합된 객체(예: 에스프레소 + 바본)를 포함한 짝지어진 이미지를 만들며, 레이블은 오직 한 개의 객체에만 의존하도록 하기.
• 짝지어진 데이터셋에 대해 ResNet18을 피지컬 튜닝하여 약 77%의 테스트 정확도를 달성한 후, 훈련된 모델, 사전 훈련된 모델, 무작위 모델의 시각화 맵을 비교하기.

실험 결과

연구 질문

• RQ1 Adebayo 등이 제안한 원래의 타당성 검증은 MNIST와 ImageNet의 특정 데이터 분포에 얼마나 의존하는가?
• RQ2 정확한 시각화 맵이 알려진 작업에서 시각화 방법(예: 가이드드 백프로파게이션)이 모델 아키텍처에 민감한지 입증할 수 있는가?
• RQ3 원래 연구에서 관찰된 일부 시각화 방법의 실패 원인이 메서드 자체의 결함이 아니라 작업에 특화된 혼란 요인 때문인가?
• RQ4 맞춤형이고 반합성적인 작업을 사용해 시각화 방법 평가를 위한 더 신뢰할 수 있는 프레임워크를 만들 수 있는가?
• RQ5 원래의 타당성 검증 방법론은 VBP와 GBP와 같은 시각화 방법 간의 차이를 의미적으로 구분하는 데 너무 약한가?

주요 결과

• 맞춤형 다중 객체 작업에서 VBP와 GBP 모두 훈련된 모델과 무작위로 초기화된 모델 간에 시각적으로 뚜렷한 차이를 보이는 시각화 맵을 생성함으로써 모델 민감도를 나타냄.
• MNIST 기반의 펌터베이션 작업에서, 훈련된 모델의 시각화 맵은 관련 영역(예: 빠진 상단 반)을 정확히 강조하지만, 무작위 모델의 맵은 흐릿하고 비구조적인 경향이 있음.
• ImageNet 기반의 짝지어진 객체 작업에서, 피지컬 튜닝된 ResNet18은 관련 객체(예: 에스프레소)에만 집중된 시각화 맵을 생성하지만, 무작위 모델은 두 객체를 동일하게 강조함.
• 결과는 가이드드 백프로파게이션이 수정된 타당성 검증을 통과할 수 있음을 보여주며, 원래의 주장인 모델 아키텍처에 민감하지 않다는 것을 반박함.
• 원래의 타당성 검증 방법론은 데이터 분포에 의존함이 입증되었으며, 데이터 분포가 변경되면 결과가 크게 달라짐.
• 본 연구는 현재의 타당성 검증 프레임워크가 시각화 방법 간의 차이를 의미적으로 구분하는 데 너무 약할 수 있으며, 특히 작업 설계가 혼란 요인을 도입할 경우 더욱 그러하다고 제안함.