[논문 리뷰] InterpNET: Neural Introspection for Interpretable Deep Learning

Shane Barratt|arXiv (Cornell University)|2017. 10. 26.

Topic Modeling참고 문헌 14인용 수 17

한 줄 요약

이 논문은 사전 훈련된 분류기의 내부 레이어 활성화를 활용하여 딥 러닝 분류에 대한 자연어 설명을 생성하는 새로운 신경망 모듈인 InterpNET을 소개한다. 이러한 활성화에 대해 언어 생성 RNN을 훈련시킴으로써 InterpNET는 CUB 새 분류 및 설명 데이터셋에서 SOTA 성능을 기록하며, METEOR 점수 37.9를 달성한다. 이는 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Humans are able to explain their reasoning. On the contrary, deep neural networks are not. This paper attempts to bridge this gap by introducing a new way to design interpretable neural networks for classification, inspired by physiological evidence of the human visual system's inner-workings. This paper proposes a neural network design paradigm, termed InterpNET, which can be combined with any existing classification architecture to generate natural language explanations of the classifications. The success of the module relies on the assumption that the network's computation and reasoning is represented in its internal layer activations. While in principle InterpNET could be applied to any existing classification architecture, it is evaluated via an image classification and explanation task. Experiments on a CUB bird classification and explanation dataset show qualitatively and quantitatively that the model is able to generate high-quality explanations. While the current state-of-the-art METEOR score on this dataset is 29.2, InterpNET achieves a much higher METEOR score of 37.9.

연구 동기 및 목표

• 인간의 추론 방식과 블랙박스 딥 뉴럴 네트워크 사이의 해석 가능성 격차를 메우기 위해.
• 모든 사전 훈련된 분류 아키텍처에 대해 자연어 설명을 생성할 수 있는 일반 목적의 모듈을 개발하기 위해.
• 내부 레이어 활성화가 의미 있는 인간이 이해할 수 있는 설명을 생성하는 데 충분한 표현 정보를 담고 있는지 조사하기 위해.
• 입력 관찰 뿐 아니라 네트워크의 추론 과정에 기반한 설명을 제공함으로써 기존의 캡션 및 설명 모델보다 향상시키기 위해.
• 정확한 분류와 충실한 설명 생성을 지원하는 해석 가능한 AI의 프레임워크를 구축하기 위해.

제안 방법

• InterpNET는 사전 훈련된 분류 네트워크를 사용해 중간 레이어에서 계층적인 내부 활성화를 추출하고, 이를 연결하여 추론 표현 r(x)로 구성한다.
• 표현 r(x)는 자연어 설명 E(x,y)를 생성하기 위해 지도 학습 방식으로 훈련된 언어 생성 RNN(특히 LRCN2f 아키텍처)에 입력된다.
• 이 방법은 인간의 시각 피질에서의 피드포워드 처리 방식을 모방하도록 설계되었으며, 내부 표현이 추론과 설명을 이끄는 방식을 반영한다.
• 모델은 x가 이미지, y가 진짜 클래스, E(x,y)가 인간이 주석을 달아준 설명인 지도 학습 트리오 (x, y, E(x,y))로 종합적으로 훈련된다.
• 분류 네트워크의 은닉 레이어 수(0에서 3까지)에 따라 다른 변형된 InterpNET 버전을 평가하여 표현 깊이가 설명 품질에 미치는 영향을 연구한다.
• 어휘 사전을 사용해 단어 인덱스를 영어 단어로 매핑하고, 단어 수준 예측에 대해 교차 엔트로피 손실을 사용해 언어 생성기 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크의 내부 활성화를 사용해 고품질의 자연어 설명을 생성할 수 있는가?
• RQ2 최종 클래스 확률 외에도 다중 수준의 내부 표현을 통합하면 입력 전용 또는 출력 전용 기준 대비 설명 품질이 향상되는가?
• RQ3 분류 네트워크의 은닉 레이어 깊이가 생성된 설명의 품질과 일관성에 어떤 영향을 미치는가?
• RQ4 InterpNET와 같은 모듈식 플러그인 방식은 기존의 어떤 분류 아키텍처에도 적용되어 추론의 해석 가능성을 제공할 수 있는가?
• RQ5 생성된 설명이 인간이 평가한 의미 유사성과 관련성과 얼마나 높은 상관관계를 가지는가?

주요 결과

• InterpNET는 CUB 데이터셋에서 이전 SOTA 모델(29.2점)보다 뚜렷이 뛰어난 METEOR 점수 37.9를 기록한다.
• 분류 네트워크에 두 개의 은닉 레이어를 사용하는 InterpNET 2가 모든 지표에서 최고 성능을 보이며, CIDEr 점수 82.1을 기록한다.
• 클래스 확률만을 사용하는 모델(InterpNET 0)도 캡션 기반 베이스라인을 초월해 METEOR 점수 35.0을 달성하여, 클래스 통계량 자체가 강력한 설명 신호를 지닌다는 것을 시사한다.
• 은닉 레이어 수를 두 개를 초과해 늘리면(예: InterpNET 3) 설명 품질과 분류 정확도가 모두 저하되며, 이는 표현력과 일반화 능력 사이의 상충 관계를 시사한다.
• InterpNET 변형들은 항상 캡션 기반 베이스라인과 시각적 설명 생성을 위한 베이스라인 모델을 능가하여, 원시 입력 특징보다 추론 표현의 가치를 입증한다.
• 결과는 신경망의 추론 과정이 내부 활성화에 코딩되어 있음을 실험적으로 뒷받침하며, 이로 인해 해석 가능한 설명 생성이 가능하다는 가설을 지지한다.