[논문 리뷰] Investigating the influence of noise and distractors on the interpretation of neural networks

Pieter-Jan Kindermans, Kristof T. Schütt외 2명|arXiv (Cornell University)|2016. 11. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 4인용 수 91

한 줄 요약

이 논문은 딥 테일러 분해 프레임워크를 사용하여 노이즈와 분산 신호가 신경망의 해석 가능성에 미치는 영향을 조사한다. 새로운 설명 규칙인 $w^+$ 및 $a^+$를 제안하며, 이는 임의의 변동 방향을 학습함으로써 기존의 기울기 기반 방법(예: 색소그램 및 $z$-규칙)보다 노이즈에 더 강건한 성능을 보이며, 노이즈 조건에서 성능이 저하되는 것을 방지한다.

ABSTRACT

Understanding neural networks is becoming increasingly important. Over the last few years different types of visualisation and explanation methods have been proposed. However, none of them explicitly considered the behaviour in the presence of noise and distracting elements. In this work, we will show how noise and distracting dimensions can influence the result of an explanation model. This gives a new theoretical insights to aid selection of the most appropriate explanation model within the deep-Taylor decomposition framework.

연구 동기 및 목표

• 노이즈와 분산 신호가 신경망의 해석 방법에 미치는 영향의 신뢰성에 영향을 분석하는 것.
• 특히 딥 테일러 분해 프레임워크 내에서 기존의 설명 규칙에 암묵적으로 내재된 가정을 규명하는 것.
• 데이터에 특화된 변동 방향을 학습함으로써 노이즈 및 분산에 강건한 새로운 설명 규칙을 개발하는 것.
• 노이즈가 첨부된 MNIST 데이터에서 이러한 규칙의 성능을 평가하고, 기존의 방법(예: 색소그램 및 $z$-규칙)과 비교하는 것.

제안 방법

• 관측된 데이터 $\bm{x}$ 가 임무 관련 성분 $\bm{a}_t s_t$, 노이즈 $A_n \bm{s}_n^T$, 그리고 가우시안 노이즈 $\mathbf{\epsilon}$ 로 분해되는 생성 모델을 사용하며, $s_t$ 는 목표 신호이다.
• 출력 관련성의 계층적 재분배를 위해 루트 점 $\tilde{\bm{x}}^j$ 를 중심으로 한 1차 테일러 전개를 적용하여 딥 테일러 분해를 수행하며, 관련성의 보존을 보장한다.
• 방향성 기반의 $w^+$ 규칙을 도입하며, 선형 투영에서의 가장 급격한 상승 방향 $\bm{w}$ 를 사용하고, 활성 입력 뉴런과 ReLU 기반 스케일링을 통해 적응시킨다.
• 데이터의 주요 변동 방향을 입력 공분산 행렬 $X$ 의 의사역행렬을 사용하여 학습하는 $a^+$ 규칙을 제안하며, 클래스 관련 신호 방향에 집중한다.
• 루트 점 선택 전략을 도입하여 $\bm{w}^T \tilde{\bm{x}}^j = 0$ 를 보장함으로써 분해의 안정성을 높이고 노이즈에 대한 민감도를 감소시킨다.
• MNIST 데이터에 가우시안 노이즈(σ = 0.0에서 0.8)를 첨가하여 방법을 검증하며, 색소그램, $z$-규칙, $w^+$, $a^+$ 규칙의 히트맵을 비교한다.

실험 결과

연구 질문

• RQ1 노이즈와 분산 신호는 신경망의 해석 방법에 있어 기울기 기반 방법(예: 색소그램 및 $z$-규칙)의 신뢰성에 어떻게 영향을 미치는가?
• RQ2 딥 테일러 분해 프레임워크 내에서 다양한 설명 규칙은 데이터 분포와 노이즈 구조에 대해 어떤 암묵적인 가정을 하고 있는가?
• RQ3 고정된 기울기 방향이 아닌, 데이터에 특화된 변동 방향을 학습함으로써 노이즈에 강건한 설명 규칙을 설계할 수 있는가?
• RQ4 노이즈 수준이 증가함에 따라 $w^+$ 및 $a^+$ 규칙은 기존 방법과 비교해 안정성과 해석 가능성 측면에서 어떻게 성능을 보이는가?

주요 결과

• $z$-규칙은 날카롭지만 노이즈에 민감한 설명을 생성하며, 노이즈가 증가함에 따라 심각하게 성능 저하를 보이며, 이는 노이즈가 없는 생성 모델을 가정하기 때문이다.
• 색소그램은 노이즈에 대해 안정적이지만 배경 영역까지 관련성을 할당하여, 강건성에도 불구하고 해석 가능성에 한계가 있음을 보여준다.
• $w^+$ 규칙은 전역 기울기 방향에 의존하기 때문에 전체 입력 이미지에 양의 관련성을 할당하지만, 노이즈에 대해 안정성을 유지한다.
• $a^+$ 규칙은 '4'와 '8'의 간격과 같은 MNIST 숫자의 중심부 및 고변동 영역에 집중하며, 직관적인 클래스 구별 특징과 일치한다.
• $w^+$ 및 $a^+$ 규칙는 $z$-규칙 및 색소그램과 비교해 노이즈 증가에 따른 설명 품질 저하가 현저히 적다.
• $a^+$ 규칙은 클래스 관련 변동 방향에 집중하므로, 노이즈가 있는 환경에서 숫자 클래스를 구별하는 특징을 이해하는 데 특히 적합하다.