[논문 리뷰] Traditional and Heavy-Tailed Self Regularization in Neural Network Models

Charles H. Martin, Michael W. Mahoney|arXiv (Cornell University)|2019. 01. 24.

Statistical Mechanics and Entropy참고 문헌 47인용 수 40

한 줄 요약

이 논문은 Random Matrix Theory를 사용하여 DNN의 가중치 행렬이 암시적 자기 규제를 보인다는 것을 보여주며, 배치 크기 및 기타 학습 조정 매개변수에 의해 영향을 받는 5+1 단계의 분류 체계(Heavy-Tailed 변형 포함)를 밝힌다.

ABSTRACT

Random Matrix Theory (RMT) is applied to analyze the weight matrices of Deep Neural Networks (DNNs), including both production quality, pre-trained models such as AlexNet and Inception, and smaller models trained from scratch, such as LeNet5 and a miniature-AlexNet. Empirical and theoretical results clearly indicate that the empirical spectral density (ESD) of DNN layer matrices displays signatures of traditionally-regularized statistical models, even in the absence of exogenously specifying traditional forms of regularization, such as Dropout or Weight Norm constraints. Building on recent results in RMT, most notably its extension to Universality classes of Heavy-Tailed matrices, we develop a theory to identify \emph{5+1 Phases of Training}, corresponding to increasing amounts of \emph{Implicit Self-Regularization}. For smaller and/or older DNNs, this Implicit Self-Regularization is like traditional Tikhonov regularization, in that there is a `size scale' separating signal from noise. For state-of-the-art DNNs, however, we identify a novel form of \emph{Heavy-Tailed Self-Regularization}, similar to the self-organization seen in the statistical physics of disordered systems. This implicit Self-Regularization can depend strongly on the many knobs of the training process. By exploiting the generalization gap phenomena, we demonstrate that we can cause a small model to exhibit all 5+1 phases of training simply by changing the batch size.

연구 동기 및 목표

• 딥러닝에서의 정규화가 전통적 ML 정규화와 다르게 작동하는 이유를 조사한다.
• 가중치 행렬의 스펙트럼 특성에 기반한 자기정규화 이론을 개발한다.
• 특히 배치 크기와 같은 학습 매개변수가 암시적 정규화 체제에 어떤 영향을 미치는지 특징짓는다.
• 깊은 네트워크의 에너지 지형을 모니터링하고 제어하기 위한 실용적 프레임워크를 제공한다.

제안 방법

• 가중치 행렬을 W ≈ W_rand + Δsig로 모델링하여 노이즈와 신호를 구분한다.
• Marchenko-Pastur (MP) 이론과 Heavy-Tailed MP 확장을 적용하여 경험적 스펙트럴 밀도(ESD)를 분석한다.
• ESD를 분류하기 위해 Gaussian, Spiked-Covariance, Heavy-Tailed 등 보편성(class)들을 식별한다.
• MP Soft Rank를 λ+ / λmax로 정의하여 노이즈에 대한 신호 강도를 정량화한다.
• 5+1 Phases of Training의 시각적 분류체계를 개발한다 (Random-like, Bleeding-out, Bulk+Spikes, Bulk-decay, Heavy-Tailed, Rank-collapse).
• MiniAlexNet에서 학습 매개변수(특히 배치 크기)를 조정하여 상전이를 시연한다.

실험 결과

연구 질문

• RQ1 DNN 가중치 행렬에서 암시적 자기정규화를 나타내는 스펙트럼 신호는 무엇인가?
• RQ2 MP 이론과 Heavy-Tailed 보편성 클래스가 무작위에 가까운 상태와 강하게 정규화된 상태 사이의 전이를 어떻게 설명하는가?
• RQ3 배치 크기와 같은 학습 매개변수를 조정하여 작은 모델이 5+1 학습 단계를 모두 나타낼 수 있는가?
• RQ4 명시적 정규화와 관찰된 스펙트럴 상의 위상 간의 관계는 무엇인가?
• RQ5 Heavy-Tailed 자기정규화가 LeNet5에서 Inception/AlexNet까지의 아키텍처 전반에 일반화되는가?

주요 결과

• Older/smaller models show MP-like spectra with low-rank spikes consistent with implicit Tikhonov-like regularization.
• Modern large DNNs display Heavy-Tailed spectral densities, indicating strong correlations and Heavy-Tailed Self-Regularization.
• A 5+1 visual taxonomy of training phases can describe the evolution of weight spectra from random-like to rank-collapse.
• The MP Soft Rank decreases as self-regularization strengthens, signaling less random-like behavior.
• Batch size modulation can induce all 5+1 phases in a single model, illustrating the Generalization Gap phenomenon.
• Explicit regularization further shifts spikes and decreases spectral complexity, aligning with the theory.