[논문 리뷰] How Important Is a Neuron?

Kedar Dhamdhere, Mukund Sundararajan외 1명|arXiv (Cornell University)|2018. 05. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 45

한 줄 요약

논문은 Conductance를 제시하는데, 이는 Integrated Gradients의 이론적으로 근거가 있는 확장으로, 깊은 네트워크의 숨겨진 유닛의 중요도를 측정하며, 이론적 속성, 제거 실험, 특성 선택 실험을 통해 비전 및 NLP 작업에서 검증된다.

ABSTRACT

The problem of attributing a deep network's prediction to its \emph{input/base} features is well-studied. We introduce the notion of \emph{conductance} to extend the notion of attribution to the understanding the importance of \emph{hidden} units. Informally, the conductance of a hidden unit of a deep network is the \emph{flow} of attribution via this hidden unit. We use conductance to understand the importance of a hidden unit to the prediction for a specific input, or over a set of inputs. We evaluate the effectiveness of conductance in multiple ways, including theoretical properties, ablation studies, and a feature selection task. The empirical evaluations are done using the Inception network over ImageNet data, and a sentiment analysis network over reviews. In both cases, we demonstrate the effectiveness of conductance in identifying interesting insights about the internal workings of these networks.

연구 동기 및 목표

• 활성화 또는 그래디언트 기반 프록시를 넘어 숨겨진 유닛의 중요도를 정량화할 필요성을 동기부여한다.
• 숨겨진 유닛에 대한 원리 기반 확장으로서 Conductance를 Integrated Gradients의 확장으로 제안한다.
• 바람직한 특성들을 이론적으로 확립하고 제거 연구 및 특성 선택을 통해 Conductance를 경험적으로 검증한다.

제안 방법

• Conductance를 체인 규칙을 이용해 숨겨진 유닛을 통해의 Integrated Gradients 귀속의 흐름으로 정의한다(식 2와 3).
• 입력의 기준치를 활용하고 입력 좌표를 합산하는 Integrated Gradients에 기초해 접근법을 확립한다.
• 이론적 및 실증 평가에서 Conductance를 Activation, Gradient*Activation, Internal Influence와 비교한다.
• Conductance를 예측 변화와의 관계를 밝히기 위한 제거 연구를 수행하고 특성 선택의 유용성을 평가한다.
• Inception(ImageNet)과 감정 분석 네트워크에 방법을 적용하여 해석 가능성 인사이트와 고 Conductance 유닛의 예측력을 보여준다.

실험 결과

연구 질문

• RQ1 Conductance가 특정 예측에 대한 개별 숨겨진 유닛의 기여를 신뢰성 있게 나타낼 수 있는가?
• RQ2 이론적 속성과 실험적 행동 측면에서 Conductance가 기존 귀속 방법들과 어떻게 비교되는가?
• RQ3 높은 Conductance를 보이는 숨겨진 유닛이 제거 기반 중요도 및 실제 네트워크의 클래스 특이적 특징과 일치하는가?
• RQ4 비전 및 언어 작업에서 입력과 클래스 전반에 걸쳐 특성 선택에 Conductance가 유용한가?

주요 결과

• Conductance는 숨겨진 유닛으로 Integrated Gradients를 확장하고 완전성 및 Layerwise Conservation을 만족하며, 일부 경쟁 방법과 달리 그렇지 않다.
• Inception의 높은 Conductance 필터는 예측을 제거하여 바꿀 수 있는 소수의 필터(5484개 중 5–10개)를 식별하여 이 유닛의 실용적 중요성을 보여준다.
• 클래스의 이미지들에 걸친 평균 Conductance가 높은 필터는 해당 클래스를 예측하는 데 높은 예측력을 가지며 해석 가능성과 전이 가능성을 지지한다.
• 감정 모델에서 많은 필터가 개별 입력에 대해 영향력이 커서 대부분의 필터가 긍정적 또는 부정적 감정을 선호하고 일부는 부정을 포착하는 노동 분담이 있음을 보여준다.
• Conductance는 제거 시 실제 예측 변화와의 상관 관계에서 Activation, Gradient*Activation, Internal Influence를 능가하며, 클래스/레이블 특성 선택 과제에서도 우수하다.
• 이 방법은 부정 처리와 같은 의미론적으로 의미 있는 패턴을 드러내고, 작업 간 강건하고 부호가 올바른 귀속을 제공한다.