[논문 리뷰] Infinite-width limit of deep linear neural networks

Lénaïc Chizat, Maria Colombo외 2명|arXiv (Cornell University)|2022. 11. 29.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 최대 업데이트 파arameterization(μP) 하에서 깊이 있는 선형 신경망의 무한한 너비 극한을 확립하며, 경사하강법의 역학이 무한차원 공간에서 결정적인 연속시간 궤적으로 수렴함을 증명한다. 또한 최소 ℓ²-노름 해로의 지수적 수렴을 보이며, 너비 극한에서 명시적인 행렬 관계와 정규직교 기저를 통해 한계 역학을 특성화한다.

ABSTRACT

This paper studies the infinite-width limit of deep linear neural networks initialized with random parameters. We obtain that, when the number of neurons diverges, the training dynamics converge (in a precise sense) to the dynamics obtained from a gradient descent on an infinitely wide deterministic linear neural network. Moreover, even if the weights remain random, we get their precise law along the training dynamics, and prove a quantitative convergence result of the linear predictor in terms of the number of neurons. We finally study the continuous-time limit obtained for infinitely wide linear neural networks and show that the linear predictors of the neural network converge at an exponential rate to the minimal $\ell_2$-norm minimizer of the risk.

연구 동기 및 목표

• 깊이 있는 신경망의 무한한 너비 극한에 관한 열린 질문을 해결하기 위해, 특히 잘 정의된 문제, 연속시간 극한, 최소화자로의 수렴 여부를 다룬다.
• 최대 업데이트 파arameterization(μP) 하에서 무한한 너비 영역에서 깊이 있는 선형 신경망의 학습 역학을 연구하며, 이는 특징 학습을 유지한다.
• 선형 예측기와 가중치 분포의 한계 행동에 대해 엄밀하고 정량적인 특성화를 제공한다.
• 무한한 너비 극한에서 분석이 가능하고 명시적인 구조를 확립함으로써 수렴성과 최소화자 선택을 분석할 수 있도록 한다.

제안 방법

• 무한한 너비 극한에서 랜덤 행렬과 벡터의 진동을 분석하기 위해 무작위 행렬 이론의 모멘트 방법을 사용한다.
• 층 인덱스의 순서열로 인덱싱된 정규직교 기저를 구성하여 네트워크의 가중치 행렬과 활성화 공간을 분해한다.
• 가중치 행렬이 기저 벡터에 작용하는 데 대한 명시적인 재귀 관계를 유도하며, 이는 무한차원 행렬 표현 Λ₁과 Λ₂로 이어진다.
• 시간과 너비를 적절히 스케일링하여 학습 역학의 연속시간 극한을 확립하며, 이로 인해 극한에서 미분방정식 시스템을 도출한다.
• 모멘트 방법을 적용하여 선형 예측기가 최소 ℓ²-노름 해로 수렴하는 정량적 수렴 속도를 증명한다.
• 기저와 행렬 구조의 일반화를 통해 3층 네트워크의 결과를 더 깊은 네트워크로 확장한다.

실험 결과

연구 질문

• RQ1 깊이 있는 선형 네트워크에서 경사하강법의 무한한 너비 극한은 무한차원 공간에서 잘 정의된 연속시간 궤적과 일치하는가?
• RQ2 무한한 너비 극한은 위험 함수의 최소화자로 수렴하는가? 만약 그렇다면, 특히 다수의 최소화자가 존재할 경우 어떤 최소화자로 수렴하는가?
• RQ3 한계 역학은 결정적인 시스템으로 묘사될 수 있으며, 무게의 분포 법칙은 한계에서 특성화될 수 있는가?
• RQ4 무한한 너머 너비 극한에서 선형 예측기의 최소 ℓ²-노름 해로의 수렴 속도는 무엇인가?
• RQ5 층 간의 행렬 관계는 어떻게 변화하며, 이를 명시적인 무한차원 연산자로 표현할 수 있는가?

주요 결과

• μP 하에서 깊이 있는 선형 네트워크의 무한한 너비 극한은 무한차원 공간에서 결정적인 연속시간 경사 하강 흐름으로 수렴한다.
• 선형 예측기는 무한한 너비 극한에서 최소 ℓ²-노름 해로 지수적 속도로 수렴한다.
• 한계 역학은 명시적인 무한차원 행렬 연산자 Λ₁과 Λ₂에 의해 지배되며, 이는 너비 극한에서 층 간의 상호작용을 암시한다.
• 모멘트 방법은 비정규 초기화에 대해서도 일반화된 정량적 수렴 속도를 도출한다. 즉, 정규 초기화에 국한되지 않는다.
• 한계에서의 가중치 행렬은 학습 궤적을 따라 결정적으로 진화하는 정확한 분포 법칙으로 특성화된다.
• 기존의 3층 네트워크 분석을 더 깊은 아키텍처로 일반화하였으며, 동일한 구조적 및 수렴 성질이 한계에서 유지된다.