[논문 리뷰] Computationally Efficient Measures of Internal Neuron Importance

Avanti Shrikumar, Jocelin Su외 1명|arXiv (Cornell University)|2018. 07. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 5인용 수 6

한 줄 요약

이 논문은 딥 네ural 네트워크 내부 뉴런에 대한 중요도를 할당하기 위한 계산적으로 효율적이고 이론적으로 타당한 방법인 뉴런 통합 기울기(Neuron Integrated Gradients)를 소개한다. 수학적으로 전체 도전도(Total Conductance)가 은닉층에서 경로 통합 기울기(Path Integrated Gradients)와 동일하다는 것을 증명함으로써, 표준 텐서플로 연산을 사용한 확장 가능한 구현이 가능해졌으며, 실험을 통해 DeepLIFT에 비해 이론적 안정성은 뛰어나면서도 경쟁 가능한 경험적 성능을 보임을 입증하였다.

ABSTRACT

The challenge of assigning importance to individual neurons in a network is of interest when interpreting deep learning models. In recent work, Dhamdhere et al. proposed Total Conductance, a "natural refinement of Integrated Gradients" for attributing importance to internal neurons. Unfortunately, the authors found that calculating conductance in tensorflow required the addition of several custom gradient operators and did not scale well. In this work, we show that the formula for Total Conductance is mathematically equivalent to Path Integrated Gradients computed on a hidden layer in the network. We provide a scalable implementation of Total Conductance using standard tensorflow gradient operators that we call Neuron Integrated Gradients. We compare Neuron Integrated Gradients to DeepLIFT, a pre-existing computationally efficient approach that is applicable to calculating internal neuron importance. We find that DeepLIFT produces strong empirical results and is faster to compute, but because it lacks the theoretical properties of Neuron Integrated Gradients, it may not always be preferred in practice. Colab notebook reproducing results: http://bit.ly/neuronintegratedgradients

연구 동기 및 목표

• 딥 네트워크 내부 뉴런에 대한 중요도 할당을 위한 확장 가능하고 이론적으로 타당한 방법의 부족을 해결하기 위해.
• 기존 텐서플로에서 처음으로 구현된 전체 도전도의 계산 비효율성과 구현 복잡성을 해결하기 위해.
• 기존 방법들인 DeepLIFT와 같은 내부 뉴런 중요도 할당을 위한 실용적이고 효율적이며 이론적으로 정당화된 대안을 제공하기 위해.
• 정확도와 런타임 측면에서 뉴런 통합 기울기와 DeepLIFT, 기울기 기반 기준선 간의 경험적 비교를 수행하기 위해.

제안 방법

• 은닉층 뉴런에서 전체 도전도와 경로 통합 기울기 사이의 수학적 동치성을 증명하여, 후자가 전자의 특수한 경우임을 보임.
• 표준 텐서플로 기울기 연산자를 사용하여 전체 도전도를 재구성함으로써, 커스텀 기울기 레이어 없이도 효율적이고 확장 가능한 계산이 가능하도록 함.
• 기준 입력에서 실제 입력까지 직선 경로를 따라 기울기를 통합함으로써 할당 점수를 계산하는 방법을 뉴런 통합 기울기로 구현함.
• 기준 입력으로 모든 값이 0인(검은색) 이미지를 사용하여 뉴런 활성화의 차이를 계산함.
• 소프트맥스 출력의 상호의존성을 보정하기 위해 클래스 간 평균 기여도를 빼는 정규화를 적용함.
• 제거(ablation)를 통한 할당 품질 평가: 높은 기여도를 가진 뉴런을 기준값으로 설정했을 때 상위 소프트맥스 클래스 출력의 변화를 측정함.

실험 결과

연구 질문

• RQ1 전체 도전도는 알려진 기울기 기반 중요도 할당 방법과 수학적으로 동치인가? 만약 그렇다면, 어떤 방법인가?
• RQ2 전체 도전도는 커스텀 연산자 없이도 텐서플로와 같은 표준 딥 러닝 프레임워크를 사용해 효율적으로 구현 가능한가?
• RQ3 뉴런 통합 기울기와 DeepLIFT 간의 중요도 할당 정확도와 계산 효율성에서의 비교 결과는 어떠한가?
• RQ4 제안된 방법은 실행 방식에 대한 불변성과 같은 이론적 성질을 유지하는가? 이는 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 뉴런 통합 기울기는 n=10일 때 평균 절대 오차(MAE)가 255.53603, n=100일 때 255.7105를 기록하여, 제거 효과 예측에서 높은 일관성을 보임.
• 기본 설정으로 실행된 DeepLIFT는 상당히 낮은 MAE 145.73521을 기록함(p < e-19), 이는 끼치는 영향 예측에서 경험적으로 뛰어난 성능을 보임.
• DeepLIFT는 n=10일 때 15.29601초가 소요된 반면, 뉴런 통합 기울기는 564.12058초가 소요되어 DeepLIFT가 런타임 측면에서 상당한 우위를 점침.
• 기울기 × 기준값에서의 차이 기반 기준선은 MAE 값이 약 255에 가까워, 포화 효과로 인해 신뢰할 수 없음.
• 뉴런 통합 기울기는 DeepLIFT가 갖지 못한 이론적 성질인 실행 방식에 대한 불변성을 계승하여, 이론 중심 응용에서 더 신뢰할 수 있음.
• 결과 재현을 위한 Colab 노트북은 http://bit.ly/neuronintegratedgradients에서 공개되어 있어 완전한 재현 가능성이 확보됨.