[논문 리뷰] What Information Does a ResNet Compress?

Luke Nicholas Darlow, Amos Storkey|arXiv (Cornell University)|2020. 03. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 4

한 줄 요약

이 논문은 현대적인 ResNet 아키텍처가 실제 이미지 데이터에서 정보 버블링(IB) 원리에 적용되는지 여부를 조사한다. 이를 위해 PixelCNN++ 디코더를 사용하여 은닉층과 입력 간의 상호정보량(MI)을 추정한다. 연구에서는 두 단계 학습—초기 단계에서의 MI 증가 이후 압축 단계로의 전환—을 관찰하였으며, ResNets가 클래스와 관련 없는 세부 정보(예: 배경 색상, 질감)를 기각함으로써 다양한데도 의미적으로 충실한 샘플을 생성함을 시각적으로 입증하였다. 이는 일반화를 위한 효과적인 압축을 보여준다.

ABSTRACT

The information bottleneck principle (Shwartz-Ziv & Tishby, 2017) suggests that SGD-based training of deep neural networks results in optimally compressed hidden layers, from an information theoretic perspective. However, this claim was established on toy data. The goal of the work we present here is to test whether the information bottleneck principle is applicable to a realistic setting using a larger and deeper convolutional architecture, a ResNet model. We trained PixelCNN++ models as inverse representation decoders to measure the mutual information between hidden layers of a ResNet and input image data, when trained for (1) classification and (2) autoencoding. We find that two stages of learning happen for both training regimes, and that compression does occur, even for an autoencoder. Sampling images by conditioning on hidden layers' activations offers an intuitive visualisation to understand what a ResNets learns to forget.

연구 동기 및 목표

• 현대적인 ResNet 아키텍처를 사용한 실제 딥러닝 환경에서 정보 버블링(IB) 원리가 성립하는지 테스트하는 것.
• 고차원의 실제 세계 데이터에서 은닉층과 입력 이미지 간의 상호정보량(MI)을 추정하는 방법을 개발하는 것.
• 학습 과정에서 ResNets가 어떤 정보를 압축하는지, 특히 클래스와 관련 없는 특징을 어떻게 학습하는지 시각화하는 것.
• 분류 및 오토에코딩 학습 환경에서의 MI 동역학과 표현 품질을 비교하는 것.
• 직관적인 조건부 이미지 생성을 통해 딥 네트워크에서의 압축을 경험적으로 입증하는 것.

제안 방법

• 조건부 PixelCNN++ 모델을 역디코더로 사용하여 ResNet 은닉층과 입력 이미지 간의 상호정보량(MI)에 하한을 추정한다.
• 특정 ResNet 은닉층(예: h₃, h₄)의 활성화를 조건으로 하여 PixelCNN++을 훈련시어, 유지된 정보의 시각적 해석을 가능하게 한다.
• 분류 및 오토에코딩 설정에서 훈련 시간에 따른 MI 변화를 추적하여 학습 단계를 식별한다.
• 훈련된 디코더에서 조건부 샘플링을 통해 표현의 진화 과정을 시각화하고, 무엇이 유지되거나 기각되는지 확인한다.
• 초기화, 초기 학습 단계, 최종 가중치 시점의 MI 값을 비교하여 압축 경향을 탐지한다.
• 정보 버블링 프레임워크를 ImageNet 유사 데이터에서 현대적이고 깊은 합성곱 네트워크(ResNet)에 적용하여 이전의 단순 모델 연구를 확장한다.

실험 결과

연구 질문

• RQ1 현대적인 ResNet이 실제 이미지 데이터에서 훈련될 때 정보 버블링 원리가 나타나는가?
• RQ2 분류 및 오토에코딩 환경에서 은닉층과 입력 이미지 간의 상호정보량(MI)은 훈련 과정에서 어떻게 변화하는가?
• RQ3 ResNet이 어떤 정보를 압축하는가—특히 어떤 특징들이 기각되고 어떤 특징들이 유지되는가?
• RQ4 은닉층 활성화에서의 조건부 이미지 생성은 표현 압축을 직관적으로 어떻게 시각화할 수 있는가?
• RQ5 IB 프레임워크가 예측한 바와 같이, 초기 MI 증가 이후 지속적인 감소를 보이는 두 단계 학습 과정이 존재하는가?

주요 결과

• 두 가지 명확한 학습 단계가 관찰됨: 은닉층과 입력 데이터 간의 상호정보량(MI)이 일시적으로 증가한 후, 장기간에 걸쳐 감소함으로써 압축이 일어남을 시사함.
• 세 번째 ResNet 은닉층(h₃)과 입력 이미지 간의 상호정보량이 200 훈련 에포크 동안에 걸쳐 유의미하게 감소하여, 은닉 표현에서의 압축이 확인됨.
• 후기 단계의 활성화(예: 200 에포크)에서 생성된 조건부 샘플은 다양성을 보였지만 클래스 정체성을 유지함으로써, 배경 색상이나 질감과 같은 클래스와 관련 없는 특징들이 효과적으로 억제됨을 보여줌.
• 초기화 단계에서도 무작위 가중치가 입력 정보를 충분히 전달하여 인식 가능한 그러나 저품질의 샘플을 생성함을 확인함으로써, 초기 표현이 완전히 무작위이거나 비정형적이지 않음을 시사함.
• 네트워크는 전경 및 배경 색상에 대한 부분적인 불변성을 학습함: 특정 색상들이 기각되어 다양하지만 의미적으로 일관된 샘플(예: 다양한 하늘 또는 잔디 색상의 말)이 생성됨.
• PixelCNN++ 디코더 프레임워크는 압축된 표현의 품질을 성공적으로 시각화하였으며, 이는 압축된 특징이 잡음과 관련 없는 세부 정보를 기각하고 작업에 관련된 구조를 유지하고 있음을 보여줌.