[논문 리뷰] Rethinking Positive Aggregation and Propagation of Gradients in Gradient-based Saliency Methods

Ashkan Khakzar, Soroosh Baselizadeh외 1명|arXiv (Cornell University)|2020. 12. 01.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 4

한 줄 요약

이 논문은 GradCAM++, FullGrad, LRP, 및 가이드드 백프로파게이션에서 일반적으로 사용되는 기울기의 양성 집합 및 전파가 모델 예측과 매개변수의 무작위화에 민감하지 않게 만든다. 저자들은 ReLU 기반의 양성 필터링을 전체 기울기 처리로 대체함으로써, 기울기 부호 정보를 유지함으로써 시각적 색소성보다 모델 행동을 설명하는 데 더 민감한 시각화 지도를 얻을 수 있음을 보여준다.

ABSTRACT

Saliency methods interpret the prediction of a neural network by showing the importance of input elements for that prediction. A popular family of saliency methods utilize gradient information. In this work, we empirically show that two approaches for handling the gradient information, namely positive aggregation, and positive propagation, break these methods. Though these methods reflect visually salient information in the input, they do not explain the model prediction anymore as the generated saliency maps are insensitive to the predicted output and are insensitive to model parameter randomization. Specifically for methods that aggregate the gradients of a chosen layer such as GradCAM++ and FullGrad, exclusively aggregating positive gradients is detrimental. We further support this by proposing several variants of aggregation methods with positive handling of gradient information. For methods that backpropagate gradient information such as LRP, RectGrad, and Guided Backpropagation, we show the destructive effect of exclusively propagating positive gradient information.

연구 동기 및 목표

• 시각적으로 타당한 지도를 생성하지만 모델 예측을 설명하지 못하는 인기 있는 기울기 기반 시각화 방법의 실패 원인을 조사하기 위해.
• 기울기의 양성 집합 및 전파가 클래스 민감도와 모델 매개변수 무작위화에 대한 민감도에 미치는 영향을 평가하기 위해.
• 기울기 부호 정보를 유지하는 대체 집합 및 전파 방법을 제안하고 테스트하기 위해.
• 기울기의 양성만 처리하는 것이 입력 이미지의 특징을 반영하는 지도를 생성할 뿐 아니라 모델 행동을 반영하지 못함을 경험적으로 검증하기 위해.
• GradCAM++, LRP, 및 가이드드 백프로파게이션과 같은 널리 사용되는 시각화 방법이 모델 해석에 신뢰할 수 없다는 증거를 제공하기 위해.

제안 방법

• ReLU 기반의 양성 집합을 절대값 또는 부호 유지 집합으로 대체하여 기울기 부호 정보를 유지하는 시각화 방법의 변형을 제안하였다.
• 양성 및 음성 기울기가 모두 후행 전파로 흐를 수 있도록 전파 규칙에서 절대값을 사용하는 수정된 RectGrad 방법(RectGrad_Mod)을 도입하였다.
• LRP-γ=0을 LRP-γ=∞와 대비하여 관련성 전파에서 양성 기여에 대한 편향을 제거하였다.
• 다양한 출력 예측에서의 클래스 민감도를 평가하기 위해 포인터 게임과 제한된 포인터 게임을 적용하였다.
• 모델 매개변수 무작위화에 대한 사전 검증을 수행하여 모델 변화에 대한 민감도를 테스트하였다.
• Rebuffi 등(2020)에서 제시한 클래스 민감도 지표를 사용하여, 다른 예측 클래스에 대한 시각화 지도 간 상관관계를 측정하였다.

실험 결과

연구 질문

• RQ1 GradCAM++ 및 FullGrad와 같은 방법에서 기울기의 양성 집합이 모델 예측을 설명하는 데 능력을 저하시키는가?
• RQ2 모델 매개변수 무작위화 후에도 기울기의 양성 전파 방법에서 생성된 시각화 지도가 동일하게 유지되는 정도는 어느 정도인가?
• RQ3 음성 기울기 정보의 포함 여부가 시각화 지도의 클래스 민감도에 어떤 영향을 미치는가?
• RQ4 LRP, RectGrad, 및 가이드드 백프로파게이션과 같은 방법들은 진정으로 예측된 출력 클래스에 민감한가, 아니면 단지 시각적 색소성을 복원하는 것일 뿐인가?
• RQ5 기울기 부호를 유지하는 대체 집합 및 전파 규칙은 시각화 설명의 신뢰성을 향상시킬 수 있는가?

주요 결과

• GradCAM++ 및 FullGrad 변형에서의 기울기 양성 집합은 예측된 출력 클래스에 민감하지 않으며, 낮은 클래스 민감도 지표와 모든 클래스에서 높은 포인터 게임 정확도로 확인되었다.
• 가이드드 백프로파게이션, RectGrad, 및 LRP-γ=∞와 같은 양성 전파 방법에서 생성된 시각화 지도는 모델 매개변수 무작위화 후에도 시각적으로 유사하게 유지되어 모델 변화에 민감하지 않음을 나타낸다.
• 대조 방법인 기울기, RectGrad_Mod, 및 LRP-0는 모델 매개변수 무작위화에 대해 유의미하게 향상된 민감도를 보이며, 이는 양성 전파가 민감도 부족의 근본 원인임을 확인한다.
• 클래스 민감도 지표는 기울기의 양성 전파 방법(예: 가이드드 백프로파게이션, LRP-γ=∞)이 스피어만 상관계수 값이 약 1.0에 가까워, 다른 예측에 대해 거의 동일한 시각화 지도를 생성함을 보여준다.
• 제한된 포인터 게임에서는 양성 전파 방법이 예측 클래스에 관계없이 동일한 객체 클래스를 가리키지만, 대조 방법은 이 설정에서 정확도가 감소하여 진정한 클래스 민감도를 보임을 나타낸다.
• 절대값을 사용한 RectGrad의 수정 및 LRP에서 γ=0으로 설정하는 등의 제안된 수정 사항은 모델 매개변수와 예측 클래스 양쪽에 대한 민감도를 복원하며, 이는 기울기 부호 유지가 신뢰할 수 있는 기여도 분석을 위해 필수적임을 보여준다.