[논문 리뷰] An Improved Analysis of Training Over-parameterized Deep Neural Networks

Difan Zou, Quanquan Gu|arXiv (Cornell University)|2019. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 25인용 수 47

한 줄 요약

이 논문은 심층 ReLU 네트워크의 GD/SGD 훈련에 대해 더 완화된 과매개화 조건과 더 빠른 수렴 속도를 제공하여, 특히 2-층 네트워크의 기존 경 Bound보다 개선된다.

ABSTRACT

A recent line of research has shown that gradient-based algorithms with random initialization can converge to the global minima of the training loss for over-parameterized (i.e., sufficiently wide) deep neural networks. However, the condition on the width of the neural network to ensure the global convergence is very stringent, which is often a high-degree polynomial in the training sample size $n$ (e.g., $O(n^{24})$). In this paper, we provide an improved analysis of the global convergence of (stochastic) gradient descent for training deep neural networks, which only requires a milder over-parameterization condition than previous work in terms of the training sample size and other problem-dependent parameters. The main technical contributions of our analysis include (a) a tighter gradient lower bound that leads to a faster convergence of the algorithm, and (b) a sharper characterization of the trajectory length of the algorithm. By specializing our result to two-layer (i.e., one-hidden-layer) neural networks, it also provides a milder over-parameterization condition than the best-known result in prior work.

연구 동기 및 목표

• 깊은 ReLU 네트워크에 대해 그래디언트 기반 훈련의 전역 수렴을 가능하게 하는 과매개화의 동기를 제시한다.
• 더 빠른 수렴 속도를 달성하기 위한 더 조밀한 그래디언트 하한을 도출한다.
• 최적화 동역학을 더 잘 특징지으려 트레이져리 길이 분석을 강화한다.
• 이전의 최고 알려진 경 Bound와 비교하기 위해 결과를 2-층 네트워크에 특화한다.
• SGD로 결과를 확장하고 기존의 GD/SGD 보장과 대조한다.

제안 방법

• 모든 층에서 가우시안 임의 초기화로 훈련을 분석한다.
• 레이어 출력에 거의 직교하는 그래디언트 영역을 도입하여 그래디언트 하한을 설정한다.
• 망대식 합(telescope-sum) 인수를 가능하게 하는 더 예리한 궤적 길이 상한을 증명한다.
• 대상 정확도 ε 내에서 수렴을 보장하는 너비 m의 조건을 도출한다.
• 일반 결과를 2-층 네트워크에 특화하여 이전 작업과 직접 비교한다.
• 해당 과매개화 및 반복 경계와 함께 SGD에 대한 확장을 제공한다.

실험 결과

연구 질문

• RQ1 깊은 ReLU 네트워크에서 어떤 더 완화된 과매개화 조건하에서 GD/SGD가 ε-학습 손실을 달성할 수 있는가?
• RQ2 더 촘촘한 그래디언트 하한과 궤적 길이 분석이 이전 결과에 비해 반복 복잡도에 어떤 영향을 미치는가?
• RQ3 이 결과들이 2-층 ReLU 네트워크와 더 깊은 아키텍처 간에 어떤 시사점을 갖는가?
• RQ4 제곱 손실 외의 다른 손실 함수 및 SGD로 결과를 확장할 수 있는가?

주요 결과

• GD는 각 층에 m = Ω(kn^8 L^12 φ^{-4} log^3(m)) 개의 숨겨진 노드를 두고, ε-학습 손실을 O(n^2 L^2 log(1/ε)/φ) 반복 내에 달성한다.
• SGD는 E[ε] 손실을 O(n^5 log(m) log^2(1/ε)/(Bφ^2)) 반복 내에 달성하고, 조건은 m = Ω(kn^{17} L^{12} log^3(m) B^{-4} φ^{-8}) 이다.
• 2-층 네트워크의 경우 GD는 ε-학습 손실을 O(n^2 log(1/ε)/φ) 반복 내에 달성하고, m = Ω(kn^8 log^3(m)/φ^4) 조건을 만족한다.
• 과매개화 조건은 각각의 설정에서 기존 연구에 대해 최소 n^4/φ 및 n^7 B^5의 배율로 향상된다.
• 해당 분석은 더 조밀한 그래디언트 하한을 얻기 위해 그래디언트 영역을 도입하고 수렴 속도를 개선한다.
• 궤적 길이 분석은 더 촘촘한 상한을 제공하여 문제 매개변수에 대한 의존성을 더 유리하게 만든다.