[논문 리뷰] Not Just a Black Box: Learning Important Features Through Propagating Activation Differences

Avanti Shrikumar, Peyton Greenside외 2명|arXiv (Cornell University)|2016. 05. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 7인용 수 549

한 줄 요약

본 논문은 활성 차이를 기준 활성화와 비교하여 특징 중요도를 계산하는 방법인 DeepLIFT를 소개하며, 그래디언트 기반의 saliency 방법의 한계를 넘어서는 강인한 특징 중요성을 제공한다.

ABSTRACT

Note: This paper describes an older version of DeepLIFT. See https://arxiv.org/abs/1704.02685 for the newer version. Original abstract follows: The purported "black box" nature of neural networks is a barrier to adoption in applications where interpretability is essential. Here we present DeepLIFT (Learning Important FeaTures), an efficient and effective method for computing importance scores in a neural network. DeepLIFT compares the activation of each neuron to its 'reference activation' and assigns contribution scores according to the difference. We apply DeepLIFT to models trained on natural images and genomic data, and show significant advantages over gradient-based methods.

연구 동기 및 목표

• 신뢰와 발견이 요구되는 응용 분야에서 해석 가능한 신경망의 필요성을 동기 부여한다.
• 활성화를 참조 활성화와의 비교를 통해 특징 중요도를 할당하는 효율적인 방법을 제안한다.
• 비활성화 ReLUs 및 포화 활성화에서 특히 그래디언트 기반의 saliency 방법의 한계를 다룬다.
• 이미지 유사 데이터와 게놈 데이터에 대해 DeepLIFT를 시연하여 그래디언트 기반 접근법에 비해 이점을 보인다.

제안 방법

• 기여도 점수 C_xy를 뉴런 x가 뉴런 y에 미치는 영향을 A_n^0라는 기준 활성화와 비교하여 정의하고, delta_n = A_n - A_n^0로 표현한다.
• 두 가지 성질을 강제한다: delta로의 합산( y에 대한 기여도의 합이 delta_y와 같다)와 네트워크 계층 간의 선형 구성.
• C_xy = m_xy * delta_x이고 m_xt가 식 (3)-(5)로부터 출력으로부터 도출되는 backpropagation과 유사한 승수 m_xy를 통해 기여도를 계산한다.
• 선형(Imaffine), max, maxout, 및 기타 활성화에 대한 m_xy를 얻기 위한 구체적 규칙을 제공한다(예: affine의 경우 m_xy = w_xy, max의 경우 m_xy = indicator{A_x = A_y} * delta_y/delta_x 등).
• 특수 활성화 및 실용적 고려사항(소프트맥스 정규화, 제약된 입력에 대한 가중치 정규화, 소프트맥스 감쇠)을 처리하여 안정적이고 의미 있는 점수를 산출한다.

실험 결과

연구 질문

• RQ1 참조 입력으로부터의 활성 차이가 신경망에서 그래디언트보다 더 신뢰할 수 있는 특징 중요도를 제공할 수 있는가?
• RQ2 일반적인 활성화(ReLU, sigmoid, tanh, maxout) 및 특수 계층(softmax, pooling)에서 작동하는 backpropagation과 유사한 프레임워크에서 특징 기여도를 어떻게 효율적으로 계산할 수 있는가?
• RQ3 DeepLIFT 점수는 그래디언트 기반 saliency 방법과 비교하여 이미지 및 게놈 서열에서 중요한 패턴을 더 잘 식별하는가?
• RQ4 참조 활성화와 정규화 선택이 기여도 결과와 안정성에 어떤 영향을 미치는가?

주요 결과

• DeepLIFT는 뉴런 활성화를 참조 활성화와 비교하여 기여도 점수를 제공하고 0 그래디언트의 맹점들을 피한다.
• 이 방법은 delta로의 합산 특성을 보존하고 계층 간 선형 구성을 지원하여 기여도의 backpropagation과 같은 계산을 가능하게 한다.
• Tiny ImageNet 및 게놈 서열에 적용하면 DeepLIFT가 그래디언트 기반 방법이 놓칠 수 있는 유용한 특징을 강조한다(예: 특정 DNA 패턴).
• 등가성 결과는 활성화가 부분적으로 선형이고 바이어스가 포함될 때 gradient*input이 Layer-Wise Relevance Propagation에 해당함을 보이지만, 비제로 참조로 인해 실제로는 DeepLIFT가 이점을 제공한다.
• 제약된 입력에 대한 가중치 정규화 및 소프트맥스 인식 조정은 일반적인 아키텍처에서 기여도 신뢰성을 향상시킨다.