[논문 리뷰] Inverting Supervised Representations with Autoregressive Neural Density Models

Charlie Nash, Nate Kushman외 1명|arXiv (Cornell University)|2018. 06. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 11

한 줄 요약

이 논문은 깊이 있는 신경망의 지도 학습 표현을 역으로 풀기 위해 자동회귀 신경 밀도 모델을 사용하는 방법을 제안하며, 중간 특징에 조건화된 입력 분포의 시각화를 가능하게 한다. 이 방법은 입력과 은닉층 간의 상호정보량에 대한 스케일러블하고 정확한 밀도 기반 추정을 제공하며, 훈련 과정에서 정보량이 처음에는 증가하다가 감소하는 것을 드러내며, ReLU-합성곱 신경망에서 정보 블로킹 이론을 지지한다.

ABSTRACT

We present a method for feature interpretation that makes use of recent advances in autoregressive density estimation models to invert model representations. We train generative inversion models to express a distribution over input features conditioned on intermediate model representations. Insights into the invariances learned by supervised models can be gained by viewing samples from these inversion models. In addition, we can use these inversion models to estimate the mutual information between a model's inputs and its intermediate representations, thus quantifying the amount of information preserved by the network at different stages. Using this method we examine the types of information preserved at different layers of convolutional neural networks, and explore the invariances induced by different architectural choices. Finally we show that the mutual information between inputs and network layers decreases over the course of training, supporting recent work by Shwartz-Ziv and Tishby (2017) on the information bottleneck theory of deep learning.

연구 동기 및 목표

• 은닉 특징에 조건화된 입력의 분포를 모델링하여 지도 학습 기반 깊이 신경망의 중간 표현을 해석할 수 있는 방법을 개발한다.
• 기존 비모수적 또는 최적화 기반 접근 방식의 한계를 극복하기 위해 입력과 네트워크 표현 간의 상호정보량을 스케일러블하고 정확하게 추정할 수 있는 방법을 제공한다.
• 아키텍처 선택과 훈련 동역학이 합성곱 신경망에서의 정보 보존과 불변성에 어떻게 영향을 미치는지 분석한다.
• 훈련 과정을 따라 상호정보량의 변화를 추적하여 ReLU-합성곱 신경망에서 정보 블로킹 이론을 경험적으로 검증한다.

제안 방법

• 사전에 훈련된 분류기의 은닉 표현 h에 대해 조건부 분포 p(x|h)를 학습하기 위해 자동회귀 신경 밀도 모델을 훈련한다.
• 자기회귀 구조는 픽셀 차원에 대한 조건부 확률의 곱으로서 전체 입력 분포를 분해함으로써 정확한 밀도 추정을 가능하게 한다.
• 입력과 표현 간의 상호정보량은 역모델의 음의 교차 엔트로피로부터 유도된 하한을 통해 추정된다.
• 대안적 훈련 없이 단일 최적화 목표를 사용함으로써 고차원 입력에 대해서도 안정성과 확장 가능성을 보장한다.
• 정보 흐름과 압축 동역학을 분석하기 위해 여러 층과 다양한 훈련 단계에서 역모델을 훈련한다.
• 이 방법은 MNIST 및 기타 이미지 데이터셋에 적용되며, 정규 훈련 및 과적합 훈련 방식을 비교한다.

실험 결과

연구 질문

• RQ1 깊이 신경망에서 주어진 중간 표현에 매핑되는 입력의 분포를 어떻게 시각화할 수 있는가?
• RQ2 ReLU-합성곱 신경망의 훈련 과정에서 입력과 은닉 표현 간의 상호정보량은 얼마나 변화하는가?
• RQ3 아키텍처 선택과 훈련 방식은 깊이 신경망에서의 불변성과 정보 압축에 어떻게 영향을 미치는가?
• RQ4 비모수적 또는 최적화 기반 방법보다 자동회귀 밀도 모델이 상호정보량을 더 정확하고 스케일러블하게 추정할 수 있는가?

주요 결과

• 입력과 중간 표현 간의 상호정보량은 훈련 과정에서 처음에는 증가하고 나중에는 감소하는 경향을 보이며, 정보 블로킹 이론이 예측한 확장 및 압축 단계와 일치한다.
• 이 방법은 ReLU-합성곱 신경망에서 정보 블로킹 역학을 재현하며, 최근 이러한 모델에서 압축이 발생하지 않는다는 주장과 정면으로 배치된다.
• 100개의 예제만으로 훈련된 과적합된 네트워크의 상호정보량 하한은 상당히 높아, 압축이 일반화 성능과 관련이 있음을 시사한다.
• 역모델은 은닉 표현에 조건화된 다양한 실재적인 샘플을 생성하며, 네트워크가 학습한 불변성(예: 이동 및 스케일에 대한 내성)을 드러낸다.
• 자기회귀 밀도 모델은 고차원 설정에서 비모수적 및 적대적 방법보다 우수한 안정성, 확장 가능성, 정확도를 보이며 상호정보량을 정확하게 추정한다.
• 특정 표현을 활성화하는 입력 유형을 시각화함으로써 아키텍처 선택의 해석 가능성을 높이며, 점 추정 복원을 넘어서는 통찰을 제공한다.