[논문 리뷰] Information Plane Analysis of Deep Neural Networks via Matrix-Based Renyi's Entropy and Tensor Kernels

Kristoffer Wickstrøm, Sigurd Løkse외 4명|arXiv (Cornell University)|2019. 09. 25.

Gaussian Processes and Bayesian Inference참고 문헌 30인용 수 23

한 줄 요약

이 논문은 매트릭스 기반 레니의 엔트로피와 텐서 커널을 사용하여 신경망 간 상호정보량(MI)을 추정하는 새로운 정보 평면(IP) 분석 프레임워크를 제안한다. 이 방법은 VGG-16과 같은 대규모 컨volutional 신경망(CNNs)에 대한 첫 번째 종합적인 IP 분석을 가능하게 하며, 학습 과정에서의 압축 단계가 주로 학습 데이터에서 관찰되며 과적합과 관련이 있을 수 있음을 드러낸다. 특히 조기 정지가 압축 단계가 완전히 나타나기 이전에 학습을 중단함으로써 이와의 연관성을 시사한다.

ABSTRACT

Analyzing deep neural networks (DNNs) via information plane (IP) theory has gained tremendous attention recently as a tool to gain insight into, among others, their generalization ability. However, it is by no means obvious how to estimate mutual information (MI) between each hidden layer and the input/desired output, to construct the IP. For instance, hidden layers with many neurons require MI estimators with robustness towards the high dimensionality associated with such layers. MI estimators should also be able to naturally handle convolutional layers, while at the same time being computationally tractable to scale to large networks. None of the existing IP methods to date have been able to study truly deep Convolutional Neural Networks (CNNs), such as the e.g.\ VGG-16. In this paper, we propose an IP analysis using the new matrix--based Rényi's entropy coupled with tensor kernels over convolutional layers, leveraging the power of kernel methods to represent properties of the probability distribution independently of the dimensionality of the data. The obtained results shed new light on the previous literature concerning small-scale DNNs, however using a completely new approach. Importantly, the new framework enables us to provide the first comprehensive IP analysis of contemporary large-scale DNNs and CNNs, investigating the different training phases and providing new insights into the training dynamics of large-scale neural networks.

연구 동기 및 목표

• 대규모 컨volutional 신경망(CNNs)인 VGG-16과 같은 고차원, 깊은 신경망에서 정확한 상호정보량(MI) 추정을 가능하게 하기 위해.
• 기존의 MI 추정기들이 고차원, 컨volutional 레이어를 다룰 때의 한계를 극복하면서도 계산의 실현 가능성을 유지하기 위해.
• DNN 학습에서의 압축 단계가 일반적인 현상인지, 추정 편향의 산물인지 여부를 조사하기 위해.
• 고차원 설정에서 H(X) ≈ I(T;X) 및 H(Y) ≈ I(T;Y)라는 주장이 제안된 추정기 하에서 유효한지 테스트하기 위해.
• 압축 단계와 과적합, 특히 조기 정지에 의한 관계를 조사하기 위해.

제안 방법

• 이 방법은 데이터 차원에 관계없이 확률 분포를 표현할 수 있는 텐서 커널 기반의 레니의 α-순서 엔트로피 추정기를 사용한다.
• 매트릭스 기반 레니의 엔트로피는 텐서 커널을 통해 컨볼루션 레이어의 구조를 자연스럽게 처리할 수 있도록 확장된다.
• 다변량 매트릭스 기반 엔트로피 추정에서 흔히 발생하는 수치적 불안정성을 피함으로써 고차원 설정에서도 안정적인 추정이 가능해진다.
• 숨겨진 레이어와 입력/출력 사이의 상호정보량(MI)은 I(X;T) = H(X) - H(X|T) 및 I(Y;T) = H(Y) - H(Y|T)를 통해 추정되며, 이때 텐서 기반 엔트로피 추정기를 사용한다.
• 프레임워크는 완전히 연결된 네트워크(MLPs), CNNs(예: VGG-16)에 적용되며, 일반화 및 동역학을 연구하기 위해 학습 및 테스트 데이터를 모두 활용해 평가된다.
• 데이터 처리 부등식(DPI)은 검증 기준으로 사용되며, I(X;T₁) ≥ I(X;T₂) ≥ ... ≥ I(X;T_L)의 관계가 성립해야 하며, 이는 경험적으로 확인된다.

실험 결과

연구 질문

• RQ1 제안된 텐서 기반 MI 추정기는 VGG-16과 같은 대규모, 깊은 CNNs에 대한 신뢰할 수 있는 정보 평면 분석을 가능하게 하는가?
• RQ2 DNN 학습에서의 압축 단계는 일반적인 현상인가, 아니면 MI 추정 편향의 산물인가?
• RQ3 고차원 설정에서 H(X) ≈ I(T;X) 및 H(Y) ≈ I(T;Y)라는 주장은 제안된 추정기 하에서 성립하는가?
• RQ4 조기 정지는 정보 평면에서 압축 단계의 발생에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 깊은 신경망에서 데이터 처리 부등식(DPI)을 어느 정도 충족하는가?

주요 결과

• 제안된 방법은 VGG-16을 포함한 대규모 CNNs에 대한 첫 번째 종합적인 정보 평면 분석을 가능하게 하였다. 이는 CIFAR-10 데이터셋에서 수행되었다.
• 압축 단계는 특히 후속 레이어에서 학습 데이터에서 뚜렷하게 관찰되지만, 테스트 데이터에서는 덜 두드러진다.
• 일반적인 정규화 기법인 조기 정지는 보통 압축 단계가 완전히 나타나기 이전에 학습을 중단하므로, 압축과 과적합 사이의 연관성이 시사된다.
• 고차원 설정에서 H(X) ≈ I(T;X) 및 H(Y) ≈ I(T;Y)라는 주장은 제안된 추정기 하에서 성립하지 않으며, 이는 MI 기반 분석이 여전히 의미가 있음을 시사한다.
• 추정기는 MLP의 모든 레이어와 VGG-16의 15개 레이어 중 14개 레이어에서 데이터 처리 부등식(DPI)을 충족하며, 이는 이론적 일관성을 검증한다.
• 출력 레이어에서는 MLP와 CNN 모두에서 I(Y;T)가 log₂(10) ≈ 3.32로 수렴하며, 이는 학습 데이터에서 약 100% 정확도에 해당함을 확인하여 추정기의 신뢰성을 확인한다.