[논문 리뷰] Rethinking the Role of Gradient-Based Attribution Methods for Model Interpretability

Suraj Srinivas, François Fleuret|arXiv (Cornell University)|2020. 06. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 37인용 수 7

한 줄 요약

이 논문은 딥러닝에서 기울기 기반 설명 방법이 분류 모델의 결정 함수에 본질적으로 연결되어 있지 않으며, 오히려 클래스 조건부 데이터 분포에 대한 암묵적 생성 모델을 반영한다는 것을 보여준다. 점수 매칭을 사용해 이 암묵적 밀도 모델을 진짜 데이터 분포와 일치시킴으로써, 저자들은 기울기 설명이 더 구조적이고 설명 가능해졌음을 입증한다. 이는 쇼트리스트 지도의 신뢰성은 모델 훈련 과정에서 의도하지 않은 밀도 일치 덕분이지, 분류 함수의 직접적 해석 가능성 때문임을 시사한다.

ABSTRACT

Current methods for the interpretability of discriminative deep neural networks commonly rely on the model's input-gradients, i.e., the gradients of the output logits w.r.t. the inputs. The common assumption is that these input-gradients contain information regarding $p_θ ( y \mid x)$, the model's discriminative capabilities, thus justifying their use for interpretability. However, in this work we show that these input-gradients can be arbitrarily manipulated as a consequence of the shift-invariance of softmax without changing the discriminative function. This leaves an open question: if input-gradients can be arbitrary, why are they highly structured and explanatory in standard models? We investigate this by re-interpreting the logits of standard softmax-based classifiers as unnormalized log-densities of the data distribution and show that input-gradients can be viewed as gradients of a class-conditional density model $p_θ(x \mid y)$ implicit within the discriminative model. This leads us to hypothesize that the highly structured and explanatory nature of input-gradients may be due to the alignment of this class-conditional model $p_θ(x \mid y)$ with that of the ground truth data distribution $p_{ ext{data}} (x \mid y)$. We test this hypothesis by studying the effect of density alignment on gradient explanations. To achieve this alignment we use score-matching, and propose novel approximations to this algorithm to enable training large-scale models. Our experiments show that improving the alignment of the implicit density model with the data distribution enhances gradient structure and explanatory power while reducing this alignment has the opposite effect. Overall, our finding that input-gradients capture information regarding an implicit generative model implies that we need to re-think their use for interpreting discriminative models.

연구 동기 및 목표

• 기울기 기반 설명 방법이 이론적으로 조작 가능하나도 성능에 영향을 주지 않음에도 불구하고, 왜 높은 구조성과 직관적인 설명을 생성하는지 조사하기 위해.
• 입력 기울기의 설명 능력이 암묵적 클래스 조건부 밀도 모델과 진짜 데이터 분포 간의 일치에서 비롯되는지 테스트하기 위해.
• 대규모 모델에서 통제된 밀도 일치를 위한 해석 분석을 가능하게 하는 실용적인 점수 매칭 근사법 개발을 위해.
• 쇼트리스트 지도와 픽셀 제거와 같은 일반적인 해석 도구를 분류 함수 해석이 아닌 암묵적 밀도 모델링의 관점에서 재평가하기 위해.

제안 방법

• 표준 소프트맥스 분류기의 로짓을 비정규화된 로그 밀도로 재해석함으로써, 분류 네트워크 내부에 암묵적 클래스 조건부 밀도 모델 pθ(x|y)가 존재한다는 것을 드러내기 위해.
• 점수 매칭을 사용해 암묵적 밀도 모델과 진짜 데이터 분포 p_data(x|y) 간의 통제된 일치를 갖는 모델을 훈련하기 위해.
• 비용이 많이 드는 헤시안 계산을 제거하는 점수 매칭의 새로운 근사법을 제안하여 대규모 모델에서의 훈련을 가능하게 하기 위해.
• 암묵적 밀도 모델링의 대체 수단으로 기울기 노름 정규화를 도입하여, 명시적 밀도 훈련 없이도 기울기의 구조를 향상시킬 수 있음을 보여주기 위해.
• 양적 픽셀 제거 테스트와 다양한 모델에서 기울기 맵의 정성적 시각화를 통해 기울기 설명을 평가하기 위해.
• 기본 모델, 점수 매칭된 모델, 반-점수 매칭된 모델, 기울기 노름 정규화된 모델의 입력 기울기를 비교하여 밀도 일치의 영향을 고립시키기 위해.

실험 결과

연구 질문

• RQ1 소프트맥스의 이동 불변성 덕분에 기울기 기반 설명이 성능에 영향을 주지 않고도 임의로 조작될 수 있는가?
• RQ2 표준 사전 훈련된 모델에서 입력 기울기가 이론적으로는 임의성이 있음에도 불구하고 왜 항상 구조적이고 직관적인가?
• RQ3 암묵적 밀도 모델과 진짜 데이터 분포 간의 일치를 향상시키면 입력 기울기의 구조성과 설명 능력이 향상되는가?
• RQ4 점수 매칭과 기울기 노름 정규화를 실제로 사용해 기울기 기반 설명의 품질을 제어할 수 있는가?

주요 결과

• 소프트맥스의 이동 불변성 덕분에 기울기 기반 설명은 성능에 영향을 주지 않고도 임의로 조작 가능하며, 이는 기울기의 유일성 부족을 보여준다.
• 점수 매칭된 모델은 정성적 시각화와 양적 픽셀 제거 테스트를 통해 기본 모델 대비 훨씬 더 구조적이고 설명 가능한 입력 기울기를 생성한다.
• 반-점수 매칭된 모델은 밀도 일치를 감소시켜 가장 잡음이 많고 해석하기 어려운 기울기를 생성하며, 이는 밀도 일치가 설명 품질을 향상시킨다는 가설을 검증한다.
• 기울기 노름 정규화된 모델 역시 기본 모델보다 더 직관적인 기울기를 생성하며, 이는 가중치 감소나 최적화 동역학을 통한 암묵적 밀도 모델링의 가능성을 시사한다.
• 표준 ResNet을 설명할 때, 점수 매칭된 모델과 기울기 노름 정규화된 모델의 기울기는 기본 모델의 기울기보다 덜 관련성이 있는 픽셀을 더 잘 식별한다.
• 결과적으로 표준 모델에서 입력 기울기의 신뢰성은 분류 함수의 직접적 해석 가능성 때문이 아니라, 훈련 과정에서 의도하지 않은 밀도 일치 덕분일 수 있음을 시사한다.