[논문 리뷰] Gradients of Counterfactuals

Mukund Sundararajan, Ankur Taly외 1명|arXiv (Cornell University)|2016. 11. 08.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 79

한 줄 요약

이 논문은 원래 입력을 스케일링하여 구성한 반대가치 입력의 기울기를 계산하는 방식인 내부 기울기(Interior Gradients)를 소개한다. 표준 기울기와는 달리, 네트워크의 포화로 인해 기울기가 사라지는 문제를 해결하여 의미 있는 특성 기여도를 보다 잘 포착하며, 예측 점수에 정확히 합산되므로 아키텍처 수정 없이도 신뢰할 수 있고 간편하게 적용 가능한 해석 가능성을 제공한다.

ABSTRACT

Gradients have been used to quantify feature importance in machine learning models. Unfortunately, in nonlinear deep networks, not only individual neurons but also the whole network can saturate, and as a result an important input feature can have a tiny gradient. We study various networks, and observe that this phenomena is indeed widespread, across many inputs. We propose to examine interior gradients, which are gradients of counterfactual inputs constructed by scaling down the original input. We apply our method to the GoogleNet architecture for object recognition in images, as well as a ligand-based virtual screening network with categorical features and an LSTM based language model for the Penn Treebank dataset. We visualize how interior gradients better capture feature importance. Furthermore, interior gradients are applicable to a wide variety of deep networks, and have the attribution property that the feature importance scores sum to the the prediction score. Best of all, interior gradients can be computed just as easily as gradients. In contrast, previous methods are complex to implement, which hinders practical adoption.

연구 동기 및 목표

• 딥 네트워크에서 표준 기울기가 네트워크 포화로 인해 중요한 특성이 near-zero 기울기를 보일 수 있는 한계를 해결하기 위해.
• 네트워크 장치나 복잡한 수정 없이도 간편하게 적용 가능한 특성 중요도 방법을 개발하기 위해.
• 특성 중요도 점수의 합이 모델의 예측 결과와 정확히 일치하도록 보장하여 할당 성질을 만족시키기 위해.
• 딥 러닝 모델의 실용적이고 직관적인 해석을 가능하게 하여, 깊은 아키텍처 지식이 없는 실무자들도 쉽게 활용할 수 있도록 하기 위해.

제안 방법

• 각 입력 특성이 스칼라 α ∈ [0,1]로 스케일링된 입력 버전에 대해 모델 출력의 기울기를 계산한다. 이는 반대가치 입력을 형성한다.
• 내부 기울기를 원점에서 원래 입력까지의 경로를 따라 α = 1에서 입력에 대한 출력의 기울기로 정의한다.
• 원점에서 원래 입력까지의 보간 경로를 따라 기울기의 경로 적분을 사용하여 보다 견고하고 일관된 할당을 계산한다.
• 다양한 아키텍처에 적용: 이미지 분류를 위한 Inception, 범주형 특성이 있는 리간드 기반 가상 스크리닝 네트워크, 언어 모델링을 위한 LSTM.
• 내부 기울기의 크기에 따라 원본 이미지의 픽셀 강도를 스케일링하여 특성 중요도를 시각화함으로써 더 직관적인 시각화 지도를 생성한다.
• 모든 특성 중요도 점수의 합이 모델의 출력 예측과 정확히 일치하도록 보장하여 할당 성질을 만족시킨다.

실험 결과

연구 질문

• RQ1 표준 기울기가 네트워크가 포화 상태일 경우에도 딥 네트워크에서 특성 중요도를 신뢰성 있게 반영할 수 있는가?
• RQ2 네트워크 아키텍처나 복잡한 장치 없이 특성 중요도를 어떻게 계산할 수 있는가?
• RQ3 간단한 기울기 기반 방법이 예측 결과와 정확히 합산되는 할당 점수를 생성할 수 있는가?
• RQ4 제안된 방법이 다양한 딥 러닝 모델에서 더 직관적이고 일관된 시각화 지도를 제공하는가?

주요 결과

• 표준 기울기는 이미지 분류에서 카메라 본체와 같은 관련 특성을 잘 드러내지 못하고, 이미지의 왼쪽이나 상단과 같은 무관한 영역에 높은 중요도를 할당한다.
• 무관한 이미지 영역을 제거한 후에도 모델의 예측 점수는 거의 그대로 유지되었다 (예: 0.9938에서 0.9966로 변화), 이는 높은 기울기 값이 실제 특성 중요도와 대응하지 않는다는 것을 확인한다.
• 내부 기울기는 카메라와 관련 맥락을 정확히 강조하는 더 직관적인 시각화 지도를 생성하여 인간의 인지와 일치한다.
• 리간드 기반 가상 스크리닝 네트워크에서는 표준 기울기가 포화로 인해 실패했음에도 불구하고, 내부 기울기가 서로 다른 화학 환경을 가진 원자들에 대해 정확한 중요도를 할당하였다.
• LSTM 언어 모델에서는 'more'가 다음 단어 'than'을 예측하는 데 기여한다는 것을 내부 기울기가 정확히 식별하였고, 반면 표준 기울기는 거의 0에 가까운 값과 직관에 어긋나는 할당을 보였다.
• 모든 특성 중요도 점수의 합은 모델의 출력 예측과 매우 유사하게 일치하였다 (예: 'than'에 대해 0.5322 vs. 0.5307), 할당 성질을 만족시켰다.