[논문 리뷰] Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning

Charles H. Martin, Michael W. Mahoney|arXiv (Cornell University)|2018. 10. 02.

Statistical Mechanics and Entropy참고 문헌 67인용 수 74

한 줄 요약

이 논문은 Random Matrix Theory를 사용하여 DNN 가중치 행렬을 분석하고, 학습이 암묵적 self-regularization를 유도하며 5+1 단계 분류 체계(강한 꼬리 분포를 포함)을 식별하여 일반화 격차와 배치 크기 효과를 설명한다.

ABSTRACT

Random Matrix Theory (RMT) is applied to analyze weight matrices of Deep Neural Networks (DNNs), including both production quality, pre-trained models such as AlexNet and Inception, and smaller models trained from scratch, such as LeNet5 and a miniature-AlexNet. Empirical and theoretical results clearly indicate that the DNN training process itself implicitly implements a form of Self-Regularization. The empirical spectral density (ESD) of DNN layer matrices displays signatures of traditionally-regularized statistical models, even in the absence of exogenously specifying traditional forms of explicit regularization. Building on relatively recent results in RMT, most notably its extension to Universality classes of Heavy-Tailed matrices, we develop a theory to identify 5+1 Phases of Training, corresponding to increasing amounts of Implicit Self-Regularization. These phases can be observed during the training process as well as in the final learned DNNs. For smaller and/or older DNNs, this Implicit Self-Regularization is like traditional Tikhonov regularization, in that there is a "size scale" separating signal from noise. For state-of-the-art DNNs, however, we identify a novel form of Heavy-Tailed Self-Regularization, similar to the self-organization seen in the statistical physics of disordered systems. This results from correlations arising at all size scales, which arises implicitly due to the training process itself. This implicit Self-Regularization can depend strongly on the many knobs of the training process. By exploiting the generalization gap phenomena, we demonstrate that we can cause a small model to exhibit all 5+1 phases of training simply by changing the batch size. This demonstrates that---all else being equal---DNN optimization with larger batch sizes leads to less-well implicitly-regularized models, and it provides an explanation for the generalization gap phenomena.

연구 동기 및 목표

• 드롭아웃이나 가중치 노름과 같은 명시적 기법을 넘어선 딥러닝의 정규화에 대한 실용적 이론을 제시한다.
• 레이어 가중치 행렬을 RMT 유도 지표로 분석하여 DNN의 에너지 지형을 특징짓다.
• 증가하는 self-regularization에 대응하는 작동적으로 정의된 훈련 단계들을 도입한다.
• 훈련 조절 변수(예: 배치 크기)가 상전이와 일반화에 어떻게 영향을 미치는지 보여준다.

제안 방법

• 각 DNN 계층의 가중치 행렬 W를 W = W_rand + Δsig로 모델링하여 무작위 성분과 신호 성분을 분리한다.
• X = (1/N) W^T W의 경험적 스펙트럼 밀도(ESD)를 분석하고 이를 Marchenko-Pastur(MP) 이론과 heavy-tailed 보편성 클래스에 맞춘다.
• 스펙트럼으로부터 용량 지표를 정의하고 계산한다: Hard Rank, Matrix Entropy, Stable Rank, MP Soft Rank.
• 암묵적 정규화 수준에 대응하는 5+1 단계 분류 체계(Random-like, Bleeding-out, Bulk+Spikes, Bulk-decay, Heavy-Tailed, Rank-collapse)을 개발하고 검증한다.
• 작은 모델에서 훈련 조절 변수(예: 배치 크기)를 조작하여 상전이를 입증하고 프리-트레인된 대형 모델과 비교한다.

실험 결과

연구 질문

• RQ1 Random Matrix Theory가 명시적 패널티 없이 DNN 학습이 정규화를 유도하는지 설명할 수 있는가?
• RQ2 다른 수준의 암묵적 자기-정규화를 반영하는 가중치 행렬의 스펙트럼 서명(ESD)은 무엇인가?
• RQ3 훈련 매개변수, 특히 배치 크기가 식별된 단계 간 전이를 어떻게 야기하고 일반화에 어떤 영향을 미치는가?

주요 결과

• 노후화되었거나 더 작은 모델은 MP 용어에서 신호-잡음 분리와 함께 약하고 Tikhonov-유사한 암묵적 정규화를 보인다.
• 현대의 대형 모델은 명확한 신호-잡음 분리 없이 heavy-tailed self-regularization을 보이며 유한한 스펙트럼 지지대를 갖는다.
• 훈련 중이거나 최종 모델에서 단계가 관찰되며, 암묵적 정규화가 증가함에 따라 MP Soft Rank가 감소하고 Stable Rank 역시 감소한다.
• 배치 크기 축소는 작은 모델이 5+1 단계 모두를 거치게 할 수 있으며 일반화 격차를 암묵적 정규화와 연결시킨다.
• 명시적 정규화는 Rank-collapse 단계를 유도할 수 있으며, 정규화 강도가 스펙트럼과 용량을 어떻게 형성하는지 보여준다.