[논문 리뷰] Understanding Autoencoders with Information Theoretic Concepts

Shujian Yu, José C. Prı́ncipe|arXiv (Cornell University)|2018. 03. 30.

Statistical Mechanics and Entropy인용 수 13

한 줄 요약

이 논문은 행렬 기반 R{\'e}nyi의 α-엔트로피 추정기들을 사용하여 정보이론적 프레임워크를 제안하며, 오토인코더 학습 동역학을 분석함으로써 층 간 상호정보 흐름의 세 가지 기본 성질을 규명한다. 이는 고차원 공간에서 데이터 처리 부등식이 성립하며, 최적의 봉쇄 층 크기와 관련된 비분기점이 정보 평면 상에 존재함을 밝혀내어 오토인코더 설계와 일반화에 대한 통찰을 제공한다.

ABSTRACT

Despite their great success in practical applications, there is still a lack of theoretical and systematic methods to analyze deep neural networks. In this paper, we illustrate an advanced information theoretic methodology to understand the dynamics of learning and the design of autoencoders, a special type of deep learning architectures that resembles a communication channel. By generalizing the information plane to any cost function, and inspecting the roles and dynamics of different layers using layer-wise information quantities, we emphasize the role that mutual information plays in quantifying learning from data. We further suggest and also experimentally validate, for mean square error training, three fundamental properties regarding the layer-wise flow of information and intrinsic dimensionality of the bottleneck layer, using respectively the data processing inequality and the identification of a bifurcation point in the information plane that is controlled by the given data. Our observations have a direct impact on the optimal design of autoencoders, the design of alternative feedforward training methods, and even in the problem of generalization.

연구 동기 및 목표

• 딥 뉴럴 네트워크, 특히 오토인코더를 분석하기 위한 이론적 프레임워크의 부족을 해결하기 위해 정보이론을 적용한다.
• 명시적 PDF 추정 없이 고차원 딥 뉴럴 네트워크 활성화에서 상호정보를 실용적이고 정확하게 추정하는 방법을 개발한다.
• 일반화와 아키텍처 설계와 관련된 오토인코더 학습 중의 정보 흐름의 기본 성질을 규명한다.
• 실제 데이터셋을 사용하여 제안된 정보이론적 프레임워크를 검증하고, 최적의 학습 단계와 층 구성 요건을 식별하는 데의 유용성을 입증한다.

제안 방법

• 재생 핵 힐버트 공간(RKHS)에서 엔트로피와 상호정보를 추정하기 위해 행렬 기반 R{\'e}nyi의 α-엔트로피 기능을 사용하며, 직접적인 PDF 추정을 피한다.
• R{\'e}nyi의 상호정보의 경험적 추정기를 적용하여 스택드 오토인코더(SAE)의 여러 층을 거쳐 층 간 정보량을 계산한다.
• 편의비용 함수에 관계없이 상호정보 흐름의 역학을 통합함으로써 정보 평면 개념을 일반화한다.
• 고차원 설정에서 상호정보 추정기의 일관성을 검증하기 위해 데이터 처리 부등식(DPI)을 이론적 기준으로 활용한다.
• 정보 평면에서의 비분기점 분석을 도입하여 정보 흐름 행동에 기반해 최적의 봉쇄 층 크기를 식별한다.
• 실제 데이터셋을 사용하여 MSE 손실 하에 훈련된 SAE를 통해 결과를 검증하고, 정보 흐름과 분류 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 PDF 추정에 의존하지 않고 고차원 공간에서 오토인코더의 상호정보 흐름을 정확하게 추정하는 방법은 무엇인가?
• RQ2 스택드 오토인코더에서 층 간 정보 흐름의 역학을 지배하는 기본 성질은 무엇인가?
• RQ3 활성화 함수의 선택(예: ReLU 대비 sigmoid)은 정보 평면에서 관측되는 압축 단계에 어떤 영향을 미치는가?
• RQ4 정보 평면의 비분기점은 일반화를 위한 최적의 봉쇄 층 크기를 결정하는 데 사용될 수 있는가?
• RQ5 다양한 상호정보 추정기의 선택은 정보 평면의 관측 행동, 예를 들어 압축 단계의 존재 여부에 어느 정도 영향을 미치는가?

주요 결과

• 행렬 기반 R{\'e}nyi의 α-엔트로피 추정기는 고차원 공간(약 1,000차원까지)에서 정확한 상호정보 추정을 가능하게 하며, 데이터 처리 부등식과 같은 이론적 기대를 유지한다.
• 정보 평면에서의 비분기점은 최적의 봉쇄 층 크기의 중요한 지표로 규명되었으며, 이 지점 근처에서 최대의 분류 정확도가 관측된다.
• MSE 기반 훈련에서는 층 간 상호정보 흐름이 세 가지 기본 성질을 보인다: 인코더 정보의 단조 감소, 봉쇄부에서의 압축 단계, 디코더에서의 복구 단계.
• 압축 단계는 비선형성 유형(예: 시그모이드 대비 ReLU)에만 의존하는 것이 아니라, 상호정보 추정기의 선택에 의해 크게 영향을 받는다. 특히 KDE 및 KNN 기반 방법은 서로 다른 행동을 보인다.
• 제안된 추정기를 사용할 경우, ReLU 활성화 함수를 사용하더라도 정보 평면에서 명확한 압축 단계가 관측되며, 이는 이전 연구에서 ReLU가 압축을 방지한다고 주장한 바와 정면으로 배치된다.
• 일반화를 위한 최적의 학습 단계는 정보 평면 곡선의 무릎(knee)에 해당하며, 이는 봉쇄 층에서 압축과 표현 충실도 사이의 최적의 트레이드오프를 달성하는 시점이다.