[논문 리뷰] Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group.

Qianyi Li, Haim Sompolinsky|arXiv (Cornell University)|2020. 12. 07.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 출력에서 입력으로 향하는 계층별 가중치 공간 통합을 통해 딥 린어 네트워크(DLNNs)에서의 학습을 분석하기 위한 정확한 통계역학 프레임워크인 백프로파게이팅 리노멀라이제이션 그룹(BPRG)을 소개한다. 선형성에도 불구하고 DLNNs는 비선형 학습 역학을 보이며, 놀랍게도 이 이론의 예측은 얕은 ReLU 네트워크에게도 잘 적용됨을 보여주며, 딥 러닝에서 가중치 공간에 대한 첫 번째 정확한 RG 기반 분석을 제공한다.

ABSTRACT

The success of deep learning in many real-world tasks has triggered an effort to theoretically understand the power and limitations of deep learning in training and generalization of complex tasks, so far with limited progress. In this work, we study the statistical mechanics of learning in Deep Linear Neural Networks (DLNNs) in which the input-output function of an individual unit is linear. Despite the linearity of the units, learning in DLNNs is highly nonlinear, hence studying its properties reveals some of the essential features of nonlinear Deep Neural Networks (DNNs). We solve exactly the network properties following supervised learning using an equilibrium Gibbs distribution in the weight space. To do this, we introduce the Back-Propagating Renormalization Group (BPRG) which allows for the incremental integration of the network weights layer by layer from the network output layer and progressing backward. This procedure allows us to evaluate important network properties such as its generalization error, the role of network width and depth, the impact of the size of the training set, and the effects of weight regularization and learning stochasticity. Furthermore, by performing partial integration of layers, BPRG allows us to compute the emergent properties of the neural representations across the different hidden layers. We have proposed a heuristic extension of the BPRG to nonlinear DNNs with rectified linear units (ReLU). Surprisingly, our numerical simulations reveal that despite the nonlinearity, the predictions of our theory are largely shared by ReLU networks with modest depth, in a wide regime of parameters. Our work is the first exact statistical mechanical study of learning in a family of Deep Neural Networks, and the first development of the Renormalization Group approach to the weight space of these systems.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서의 학습을 이해하기 위한 정확한 통계역학적 프레임워크를 개발하는 것.
• 일반화 오차에 대한 깊이, 넓이, 훈련 세트 크기, 정규화의 역할을 분석하는 것.
• 계층적 가중치 통합을 통해 은닉 계층에서의 잠재적 표현이 어떻게 발생하는지 탐구하는 것.
• 선형 네트워크에서의 통찰을 비선형 ReLU 네트워크로 확장하기 위해 히우리스틱한 BPRG 기반 접근법을 제시하는 것.
• 리노멀라이제이션 그룹을 딥 뉴럴 네트워크 시스템의 가중치 공간 분석 도구로 정립하는 것.

제안 방법

• 출력 계층에서 시작하여 계층별로 가중치 공간을 통합하는 백프로파게이팅 리노멀라이제이션 그룹(BPRG)을 제안한다.
• 감독 학습을 모델링하기 위해 가중치 공간 위의 평형 깁스 분포를 사용한다.
• 계층별 부분 통합을 수행하여 은닉 계층에서의 잠재적 표현을 계산한다.
• 일반화 오차, 가중치 분포, 네트워크 용량에 대한 정확한 표현을 유도한다.
• 선형 프레임워크를 비선형 활성화 효과에 맞게 조정하여 BPRG를 히우리스틱하게 ReLU 네트워크로 확장한다.
• 다양한 하이퍼파rameter 범위에서 ReLU 네트워크의 예측을 검증하기 위해 수치 시뮬레이션을 활용한다.

실험 결과

연구 질문

• RQ1 딥 린어 네트워크에서 네트워크의 깊이와 넓이는 일반화 오차에 어떻게 영향을 미치는가?
• RQ2 훈련 세트 크기와 가중치 정규화는 학습 역학에서 어떤 역할을 하는가?
• RQ3 딥 린어 네트워크에서 은닉 계층을 거쳐가며 잠재적 표현은 어떻게 변화하는가?
• RQ4 선형 BPRG 프레임워크의 예측은 비선형 ReLU 네트워크로 어느 정도 일반화되는가?
• RQ5 리노멀라이제이션 그룹은 딥 뉴럴 네트워크의 가중치 공간에 체계적으로 적용될 수 있는가?

주요 결과

• BPRG 프레임워크는 딥 린어 네트워크에서 일반화 오차와 가중치 분포를 정확하게 계산할 수 있다.
• 네트워크의 넓이와 깊이는 효과적 용량과 일반화 성능에 크게 영향을 미치며, RG 흐름에서 최적의 스케일링이 도출된다.
• 훈련 세트 크기는 깁스 분포의 효과적 온도를 조절하며, 학습 안정성에 영향을 준다.
• 가중치 정규화는 고주파 가중치 모드를 억제하여 통제된 방식으로 일반화를 향상시킨다.
• 비선형성에도 불구하고 BPRG의 예측은 얕은 아키텍처를 포함한 광범위한 매개변수 영역에서 정확하게 유지된다.
• 본 연구는 리노멀라이제이션 그룹 접근법을 사용하여 딥 뉴럴 네트워크에서의 학습에 대한 첫 번째 정확한 통계역학적 분석을 수립한다.