[논문 리뷰] Learning how to explain neural networks: PatternNet and PatternAttribution

Pieter Jan Kindermans, Kristof T. Schütt외 5명|arXiv (Cornell University)|2017. 05. 16.

Neural Networks and Applications인용 수 246

한 줄 요약

이 논문은 선형 설정에서 신경망의 설명 방법들을 분석하고, 기존 접근법의 한계를 지적하며 이론적으로 타당하고 데이터 기반의 설명인 PatternNet과 PatternAttribution을 제시한다. 이들은 깊은 네트워크로 일반화되며, ImageNet(VGG-16)에서의 신호 시각화와 속성 기여도(attribution) 개선에 대한 실증적 근거를 제공한다.

ABSTRACT

DeConvNet, Guided BackProp, LRP, were invented to better understand deep neural networks. We show that these methods do not produce the theoretically correct explanation for a linear model. Yet they are used on multi-layer networks with millions of parameters. This is a cause for concern since linear models are simple neural networks. We argue that explanation methods for neural nets should work reliably in the limit of simplicity, the linear models. Based on our analysis of linear models we propose a generalization that yields two explanation techniques (PatternNet and PatternAttribution) that are theoretically sound for linear models and produce improved explanations for deep networks.

연구 동기 및 목표

• 신호와 방해자를 분석적으로 추적할 수 있는 선형 모델에 초점을 맞춰 신뢰할 수 있는 설명의 동기를 부여한다.
• 현존하는 시각화/속성 방법(예: DeConvNet, Guided BackProp, LRP)이 진짜 신호를 표현하는 데 한계가 있음을 보여준다.
• 선형 모델에 대해 이론적으로 타당하고 데이터 기반의 설명으로 PatternNet과 PatternAttribution을 제안하고, 이를 심층 네트워크로 확장하는 방법을 제시한다.
• 제안된 방법들을 실용적 네트워크와 데이터셋에서 평가하여 질적 및 양적 개선을 입증한다.

제안 방법

• 입력을 x = s + d로 모델링하고, 신호 s = a_s y와 방해자 d를 설정한 뒤 선형 가중치 w가 신호 방향 a_s와 어떻게 관계하는지 분석한다.
• 잔차로부터 출력 y에 대한 정보를 제거하는 신호 추정기 S의 품질 기준 rho(S)를 도입하여 진짜 신호 추정을 이끈다.
• 기존의 신호 추정기(S_x, S_w)를 검토하고, 특히 비선형 후속 층에서 진짜 신호를 검출하는 데 한계가 있음을 보인다.
• 패턴넷(PatternNet)을 뉴런의 비선형 신호 추정기로 도출하고 품질 기준을 최적화하여 추정 신호를 입력 공간으로 역투영하는 방법을 제시한다.
• 패턴어트리뷰션(PatternAttribution)을 딥 테일러 분해의 루트 포인트 추정기로 도출하고, 방해자를 무시하여 분류 점수에 대한 뉴런별 기여도를 얻는다.
• ReLU/비선형 효과를 다루기 위한 양수/음수 체계 S_{a+-}를 제시하고 닫힌 형식 해(Eq. 4.3 및 Eq. 7)를 도출한다.
• PatternNet이 역전파에서의 그라디언트 유사한 역전파로 수렴하며, 역방향 패스에서 정보 방향이 원시 가중치 대신 활용된다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 기존의 설명 방법들이 선형 모델에서 진짜 신호를 신뢰성 있게 포착하는가, 더 나아가 깊은 네트워크에서의 포착도 가능한가?
• RQ2 설명에서 신호와 방해자를 구분하기 위한 원리적 품질 기준을 정의할 수 있는가?
• RQ3 선형 및 비선형 층에서 기존 방법보다 우수한 패턴넷/패턴어트리뷰션의 신호 및 속성 추정기를 어떻게 구성할 수 있는가?
• RQ4 제안된 방법들이 실제 네트워크와 데이터셋(예: ImageNet/VGG-16)에서 시각화와 히트맵을 질적으로 및 양적으로 더 명확하게 보여주는가?

주요 결과

• DeConvNet과 Guided BackProp와 같은 기존 방법은 선형 모델에서 진짜 신호를 일관되게 포착하지 못하므로 신호 인식적 접근이 필요함을 시사한다.
• 품질 기준 rho(S)는 잔차에서 방해자 정보를 제거하는 신호 추정기의 학습을 이끌어 설명을 개선한다.
• PatternNet은 입력 공간으로의 신호 역투영을 개선하여 이전 방법보다 더 선명하고 충실한 시각화를 제공한다.
• PatternAttribution은 방해자를 무시하여 뉴런별 기여도를 더 명확하게 제시하며, Deep Taylor Decomposition의 루트 포인트 추정기로 작동한다.
• 양수/음수 체계 S_{a+-}는 ReLU의 영향으로 인한 이중 모드를 반영하여 조밀한 층에서 신호 추정을 개선한다.
• ImageNet의 VGG-16에 적용한 결과 PatternNet/PatternAttribution은 양적 및 질적 설명이 더 우수하며, 추정기가 기존 그래디언트 기반이나 가중치 기반의 기준보다 상관도와 열화 테스트에서 우수하다.
• PatternAttribution의 역전파 유사 계산은 정보 방향을 대체 가중치로 바꿔 더 빠른 설명을 제공하며, 실시간 salient 방법들과의 속도 경쟁에서도 우수하다.