[논문 리뷰] Neural Network Interpretation via Fine Grained Textual Summarization.

Pei Guo, Connor Anderson외 2명|arXiv (Cornell University)|2018. 05. 23.

Multimodal Machine Learning Applications참고 문헌 32인용 수 9

한 줄 요약

이 논문은 이미지-캡션 쌍에 대한 베이지안 추론을 통해 학습된 필터 수준의 속성 확률 밀도 함수를 사용하여 분류 결정에 대한 세분화된 텍스트 설명을 생성함으로써 컨volutional 신경망의 해석을 위한 약한 지도 학습 방법을 제안한다. 이 방법은 의미 수준의 모델 해석을 가능하게 하고, 실패 분석을 향상시키며, 속성 기반 검색 및 비지도 텍스트 거시화를 지원한다.

ABSTRACT

Current visualization based network interpretation methodssuffer from lacking semantic-level information. In this paper, we introduce the novel task of interpreting classification models using fine grained textual summarization. Along with the label prediction, the network will generate a sentence explaining its decision. Constructing a fully annotated dataset of filter|text pairs is unrealistic because of image to filter response function complexity. We instead propose a weakly-supervised learning algorithm leveraging off-the-shelf image caption annotations. Central to our algorithm is the filter-level attribute probability density function (p.d.f.), learned as a conditional probability through Bayesian inference with the input image and its feature map as latent variables. We show our algorithm faithfully reflects the features learned by the model using rigorous applications like attribute based image retrieval and unsupervised text grounding. We further show that the textual summarization process can help in understanding network failure patterns and can provide clues for further improvements.

연구 동기 및 목표

• 기존의 시각화 기반 방법에서의 의미 수준의 해석 가능성 부족 문제를 해결하기 위해.
• 화소 수준의 샐런시 맵을 넘어서 예측에 대한 자연어 설명을 생성할 수 있도록 분류 모델을 가능하게 하기 위해.
• 필터-텍스트 쌍에 대한 수동 레이블링이 비용이 많이 들기 때문에, 필터-텍스트 쌍의 완전한 레이블링이 필요 없는 약한 지도 학습 접근법을 개발하기 위해.
• 입력 이미지와 특징 맵을 잠재 변수로 사용하여 조건부 확률로서 필터 수준의 속성 확률 밀도 함수를 학습하기 위해.
• 텍스트 요약의 유용성을 입증하여 모델 행동, 실패 패턴 이해 및 향상 방향 도출을 돕기 위해.

제안 방법

• 완전한 필터 반응 쌍의 레이블링 없이도, 표준 이미지 캡션 레이블을 활용하여 약한 지도 학습을 통해 필터-텍스트 연관성을 학습한다.
• 입력 이미지와 그 특징 맵을 조건으로 하는 속성에 대한 조건부 확률로서 필터 수준의 속성 확률 밀도 함수(p.d.f.)를 정의한다.
• 이미지와 특징 맵을 잠재 변수로 사용하여 베이지안 추론을 적용하여 p.d.f.를 추정함으로써 학습된 필터의 확률적 해석을 가능하게 한다.
• 학습된 p.d.f.를 사용하여 필터가 포착한 의미적 내용을 반영한 자연어 설명을 생성한다.
• 생성된 요약을 활용하여 속성 기반 이미지 검색 및 비지도 텍스트 거시화와 같은 후행 작업을 수행함으로써 해석 가능성의 유효성을 검증한다.
• 실패 패턴 탐지 및 개선 통찰을 포함한 정성적 및 정량적 분석을 통해 모델 행동을 검증한다.

실험 결과

연구 질문

• RQ1 완전한 레이블링 없이도 약한 지도 학습 방법이 신뢰할 수 있고 의미적으로 유의미한 텍스트 설명을 CNN 필터 반응에 대해 생성할 수 있는가?
• RQ2 학습된 필터 수준의 속성 p.d.f.가 실제로 네트워크가 학습한 특징을 얼마나 잘 반영하는가?
• RQ3 생성된 텍스트 요약이 모델 실패 원인 이해 및 아키텍처 개선을 위한 가이드라인 제공에 얼마나 기여하는가?
• RQ4 이 방법이 속성 기반 이미지 검색 및 비지도 텍스트 거시화와 같은 후행 작업을 어느 정도 지원할 수 있는가?
• RQ5 텍스트 요약 과정이 표준 시각화 기법을 넘어서 모델 행동의 의미 있는 패턴을 드러내는가?

주요 결과

• 제안된 방법은 비용이 많이 드는 필터-텍스트 레이블링이 필요 없이 이미지 캡션 레이블만으로도 CNN 필터 반응에 대해 의미적으로 기반을 둔 텍스트 설명을 성공적으로 생성한다.
• 필터 수준의 속성 확률 밀도 함수는 필터의 의미적 내용을 효과적으로 포착하여 학습된 특징의 정확한 해석을 가능하게 한다.
• 텍스트 요약 접근법은 의미적 이해에 기여하는 효과적인 속성 기반 이미지 검색을 가능하게 하며, 이는 실용성의 증거가 된다.
• 이 방법은 훈련 데이터 쌍이 없는 조건에서도 생성된 텍스트와 시각적 특징 간의 일치를 보여주며 비지도 텍스트 거시화를 지원한다.
• 생성된 설명은 모델의 일관된 실패 패턴을 드러내며, 모델 정밀도 향상을 위한 실질적인 통찰을 제공한다.
• 표준 시각화 기법보다 의미를 반영한 자연어 설명을 제공함으로써 더 나은 성능을 보이며, 학습된 의미를 반영한 해석 가능성을 확보한다.