[논문 리뷰] Exact solutions to the nonlinear dynamics of learning in deep linear neural networks

Andrew Saxe, James L. McClelland외 1명|arXiv (Cornell University)|2013. 12. 20.

Model Reduction and Neural Networks참고 문헌 15인용 수 1,003

한 줄 요약

이 논문은 깊이 있는 선형 신경망에서 비선형 경사하강법 역학에 대한 정확한 해석적 해를 제공하며, 특정 초깃값 조건 하에서 네트워크 깊이가 무한대에 가까워질 때조차도 학습 속도가 유한하게 유지될 수 있음을 밝혀낸다. 이는 비지도 사전학습과 무작위 직교 가중치 초기화가 역학적 등장성(dynamical isometry)을 가능하게 하여 깊은 네트워크에서 안정적인 기울기 흐름을 보장함으로써 깊이에 영향을 받지 않는 학습 시간을 달성함을 보여준다. 이는 '붕괴의 가장자리(edge of chaos)' 근처에서 비선형 설정에서도 성립한다.

ABSTRACT

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We show that deep linear networks exhibit nonlinear learning phenomena similar to those seen in simulations of nonlinear networks, including long plateaus followed by rapid transitions to lower error solutions, and faster convergence from greedy unsupervised pretraining initial conditions than from random initial conditions. We provide an analytical description of these phenomena by finding new exact solutions to the nonlinear dynamics of deep learning. Our theoretical analysis also reveals the surprising finding that as the depth of a network approaches infinity, learning speed can nevertheless remain finite: for a special class of initial conditions on the weights, very deep networks incur only a finite, depth independent, delay in learning speed relative to shallow networks. We show that, under certain conditions on the training data, unsupervised pretraining can find this special class of initial conditions, while scaled random Gaussian initializations cannot. We further exhibit a new class of random orthogonal initial conditions on weights that, like unsupervised pre-training, enjoys depth independent learning times. We further show that these initial conditions also lead to faithful propagation of gradients even in deep nonlinear networks, as long as they operate in a special regime known as the edge of chaos.

연구 동기 및 목표

• 딥 뉴럴 네트워크에서 학습의 비선형 역학을 이해하기 위한 엄밀한 해석적 프레임워크를 수립하는 것.
• 네트워크 깊이, 가중치 초기화, 비지도 사전학습이 학습 속도와 수렴에 미치는 영향을 조사하는 것.
• 비볼록 손실 곡면 속에서도 효율적인 학습이 유지되는 조건을 규명하는 것.
• 기울기 전파가 깊은 네트워크에서 어떻게 작동하는지 분석하고, 기울기 안정성을 유지하는 초기화 기법을 식별하는 것.
• 선형 네트워크에서의 통찰을 비선형 네트워크로 확장하기 위해 '붕괴의 가장자리' 영역에서 역학적 등장성이 나타나는 방식을 분석하는 것.

제안 방법

• 깊이 있는 선형 네트워크에서 확률적 경사하강법 동안의 가중치 역학을 묘사하는 비선형 결합 미분방정식계를 유도하고 해석하는 것.
• 오차 함수의 대칭성을 활용하여 가중치 공간 역학에서 보존량을 식별하는 것.
• 전체 경로의 야코비안의 특이값 분포를 분석하여 계층 간 기울기 흐름의 안정성을 평가하는 것.
• 깊이에 영향을 받지 않는 학습 시간을 유지하는 새로운 유형의 무작위 직교 가중치 초기화를 도입하고 분석하는 것.
• 수치 시뮬레이션을 통해 선형 네트워크와 비선형 네트워크의 학습 역학을 비교 분석하며, 특히 다양한 초기화 기법에 따른 차이를 살펴보는 것.
• 비선형 네트워크에서 '붕괴의 가장자리' 영역을 정의하고 분석하는 것. 이 영역에서는 선형 증폭과 비선형 포화가 균형을 이루어 기울기 역학을 유지한다.

실험 결과

연구 질문

• RQ1 깊이 있는 선형 네트워크에서 학습이 전개되는 시간 스케일은 무엇에 의해 결정되며, 학습 속도는 깊이와 초깃값에 어떻게 의존하는가?
• RQ2 그리디 비지도 사전학습이 깊이 있는 선형 네트워크에서 학습을 가속화하는 조건은 무엇인가?
• RQ3 무작위 직교 가중치 초기화가 깊이에 영향을 받지 않는 학습 시간을 달성할 수 있으며, 이는 스케일된 가우시안 초기화와 비교해 어떻게 다른가?
• RQ4 깊은 비선형 네트워크에서 기울기 전파의 행동은 어떻게 되며, 오차 신호의 안정적 역전파를 보장하는 조건은 무엇인가?
• RQ5 깊이 있는 선형 네트워크의 역학이 실제 깊은 비선형 네트워크에서 관찰되는 비선형 학습 행동을 어느 정도 잘 근사하는가?

주요 결과

• 특정 초깃값 조건의 특수한 클래스에 대해, 깊이 있는 선형 네트워크에서 학습 속도는 깊이가 무한대에 가까워져도 여전히 끝이 나지 않으며 깊이에 영향을 받지 않는다.
• 비지도 사전학습은 깊이에 영향을 받지 않는 학습 시간을 제공하는 특수한 초깃값 조건을 찾을 수 있으며, 반면 스케일된 무작위 가우시안 초기화는 이를 달성할 수 없다.
• 무작위 직교 가중치 초기화는 깊이 있는 선형 네트워크에서 깊이에 영향을 받지 않는 학습 시간을 달성하며, 사전학습의 성능을 따라잡는다.
• 비선형 네트워크에서, 무작위 직교 초기화는 '붕괴의 가장자리'(g = 1)에서 역학적 등장성—근사적으로 항등행렬에 가까운 야코비안 특이값 분포—을 가능하게 한다.
• 붕괴의 가장자리 영역(g = 1)은 100층의 네트워크에서도 특이값의 O(1) 분율이 유한하게 유지됨을 보장하여 안정적인 기울기 흐름을 가능하게 한다.
• 수치 결과는 g = 1에서의 특이값 분포가 입력 분산의 변화에 강건하며, g를 증가시키는 변형에 비해 감소시키는 변형보다 더 안정적임을 보여준다.