[논문 리뷰] Learning Important Features Through Propagating Activation Differences

Avanti Shrikumar, Peyton Greenside외 1명|arXiv (Cornell University)|2017. 04. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 2,365

한 줄 요약

DeepLIFT는 네트워크를 통해 기준과의 차이를 역전파하여 입력 특성 중요도를 할당하고, 양/음 기여를 드러내며 그래디언트의 포화 문제를 해결합니다.

ABSTRACT

The purported "black box" nature of neural networks is a barrier to adoption in applications where interpretability is essential. Here we present DeepLIFT (Deep Learning Important FeaTures), a method for decomposing the output prediction of a neural network on a specific input by backpropagating the contributions of all neurons in the network to every feature of the input. DeepLIFT compares the activation of each neuron to its 'reference activation' and assigns contribution scores according to the difference. By optionally giving separate consideration to positive and negative contributions, DeepLIFT can also reveal dependencies which are missed by other approaches. Scores can be computed efficiently in a single backward pass. We apply DeepLIFT to models trained on MNIST and simulated genomic data, and show significant advantages over gradient-based methods. Video tutorial: http://goo.gl/qKb7pL, ICML slides: bit.ly/deeplifticmlslides, ICML talk: https://vimeo.com/238275076, code: http://goo.gl/RM8jvH.

연구 동기 및 목표

• 신경망의 해석 가능성을 촉진하여 투명성이 중요한 분야에서 활용합니다.
• 차이-from-reference 기반의 중요도 점수화 방법으로 DeepLIFT를 소개합니다.
• 포화 및 불연속성과 같은 그래디언트 기반 접근의 한계를 다룹니다.
• 더 풍부한 설명을 위한 양/음 기여 분리를 위한 규칙을 제시합니다.
• 시각 및 게놈 작업에 대한 효율성과 적용 가능성을 시연합니다.

제안 방법

• 중요도 점수를 차이가 기준과의 합으로 합산되는 기여도로 정의합니다(Delta t).
• 네트워크를 통해 차이를 전파하는 승수 m_{Delta x Delta t}를 도입합니다(승수의 연쇄 법칙).
• 참조 입력을 선택하고 그로부터 뉴런 활성화를 계산하여 y^0의 참조 활성화를 명시합니다.
• 양의 기여/음의 기여를 포착하기 위해 Delta y^+와 Delta y^-를 분리 추적합니다.
• 각 뉴런에서 기여를 할당하기 위해 Linear, Rescale, RevealCancel 규칙을 제시합니다.
• 역전파와 유사한 단일 역전파 패스로 점수를 계산하는 방법을 개요합니다.

실험 결과

연구 질문

• RQ1 그래디언트가 포화 상태나 불연속성으로 인해 0에 수렴하거나 불안정할 때도 중요도 점수를 전파하고 해석할 수 있는가?
• RQ2 차이-from-reference 기반 점수(DeepLIFT)가 시각 및 게놈 작업에서 그래디언트 기반 방법보다 더 충실한 특성 할당을 생성하는가?
• RQ3 양/음 기여 분리와 RevealCancel이 기여도 품질을 어떻게 개선하는가?
• RQ4 도메인 간에 강건하고 해석 가능한 설명을 얻기 위해 어떤 기준(참조 선택)이 필요한가?

주요 결과

• DeepLIFT는 그래디언트가 소멸하는 상황에서도 유의미한 기여를 전파할 수 있어 포화 아티팩트를 피합니다.
• RevealCancel과 양/음 기여 분리는 합성 게놈 데이터와 MNIST 숫자 혼동 태스크에서 의미 있는 모티프와의 정렬성을 개선합니다.
• MNIST에서 RevealCancel이 적용된 DeepLIFT는 숫자 간 클래스를 바꿀 픽셀을 식별하는 데 있어 그래디언트 기반 방법보다 우수했습니다.
• 규제 DNA 시뮬레이션에서 DeepLIFT 변형들(특히 RevealCancel 포함)이 그래디언트 기반 방법보다 진정한 모티프 패턴을 더 신뢰성 있게 강조했습니다.
• Integrated Gradients와 gradient×input은 MNIST에서 비슷한 성능을 보였으나 모티프 발견 태스크에서 도메인 의존적 이점을 보였습니다.
• 이 방법은 단일 패스의 효율적 계산과 원칙적인 기준 기반 설명 프레임워크를 제공합니다.