[논문 리뷰] Gradient Descent Provably Optimizes Over-parameterized Neural Networks

Simon S. Du, Xiyu Zhai외 2명|arXiv (Cornell University)|2018. 10. 04.

Stochastic Gradient Optimization Techniques참고 문헌 29인용 수 418

한 줄 요약

무작위 초기화로 시작한 경사 하강법이 과대 매개변수화된 이층 ReLU 네트워크의 훈련 손실을 전역적으로 최소화하며, 온건한 가정 하에서 선형 수렴을 달성한다.

ABSTRACT

One of the mysteries in the success of neural networks is randomly initialized first order methods like gradient descent can achieve zero training loss even though the objective function is non-convex and non-smooth. This paper demystifies this surprising phenomenon for two-layer fully connected ReLU activated neural networks. For an $m$ hidden node shallow neural network with ReLU activation and $n$ training data, we show as long as $m$ is large enough and no two inputs are parallel, randomly initialized gradient descent converges to a globally optimal solution at a linear convergence rate for the quadratic loss function. Our analysis relies on the following observation: over-parameterization and random initialization jointly restrict every weight vector to be close to its initialization for all iterations, which allows us to exploit a strong convexity-like property to show that gradient descent converges at a global linear rate to the global optimum. We believe these insights are also useful in analyzing deep models and other first order methods.

연구 동기 및 목표

• 무작위로 초기화된 1차 방법들이 왜 과대 매개변수화된 ReLU 네트워크에서 글로벌 최소점을 찾는지 밝히다.
• 비볼록 비매끄러운 목적함수 하에서 이층 네트워크에 대한 경사 하강법의 엄밀한 수렴 분석을 제공한다.
• 과대 매개변수화와 무작위 초기화가 가중치를 초기화 상태에 가깝게 유지하여 볼록에 준하는 분석을 가능하게 한다.
• 더 깊은 모델과 다른 1차 방법들을 분석하는 방향으로 통찰을 확장한다.

제안 방법

• f(W,a,x) = (1/√m) ∑_r a_r σ(w_r^T x)인 이층 완전연결 ReLU 네트워크를 모형으로 한다.
• 두 번째 층을 고정한 채 첫 번째 층에 대해 경사 하강법으로 최적화한 뒤, 공동 학습으로 확장한다.
• 그람 행렬 H(t)를 도입하고 그 원소 H_ij(t) = (1/m) x_i^T x_j ∑_r I{w_r^T x_i ≥ 0, w_r^T x_j ≥ 0}로 정의한다.
• 예측 u_i(t)가 du/dt = H(t)(y−u)로 진화함을 보여주고, 수렴을 H∞의 스펙트럼(무작위 가중치 하의 초기화 그램 행렬)과 연결한다.
• m이 충분히 크고(두 입력이 평행하지 않을 때) λ_min(H(0)) ≥ (3/4)λ0 및 ∥H(t)−H(0)∥2 ≤ O(1/√m)임을 보인다.
• 이산 시간 경사 하강법의 단계 크기 η = O(λ0/n^2)에 대한 결과를 제공하여 선형 수렴을 보인다.

실험 결과

연구 질문

• RQ1 경사 하강법이 이층 ReLU 네트워크에서 어떤 조건에서 제로 훈련 손실로 수렴하는가?
• RQ2 과대 매개변수화와 무작위 초기화가 학습 과정의 역학에 어떤 영향을 미치는가?
• RQ3 훈련 역학을 안정적인 Gram 행렬로 특징지을 수 있어 볼록에 준하는 수렴 분석이 가능할까?
• RQ4 해당 분석이 두 층을 함께 학습하는 경우로 확장되는가, 아니면 오직 첫 번째 층에 한정되는가?
• RQ5 선형 수렴을 보장하기 위한 수렴 속도와 필요한 폭 m은 무엇인가?

주요 결과

• m = Ω(n^6/λ0^4 δ^3)이고 두 입력이 평행하지 않을 때 경사 하강법은 선형 속도로 제로 훈련 손실로 수렴한다.
• 예측의 역학은 시간에 따라 변하는 Gram 행렬 H(t)에 의해 지배되며, 과대 매개변수화하에서는 초기화된 H∞에 가깝게 유지된다.
• 입력 벡터가 서로 평행하지 않으면, H(0)의 최소 고유값이 양수이고 이로 인해 선형 수렴이 가능하다.
• 경사 흐름에 대해 학습 중 가중치가 초기값에 가까운 상태로 유지되어 초기화로부터의 거리가 유계다.
• 두 층을 함께 학습하는 경우도 유사한 과대 매개변수화 요건에서 동일한 선형 수렴을 보인다.
• 상수 스텝 크기 η = O(λ0/n^2)인 이산 시간 경사 하강법도 동일한 선형 수렴 속도를 달성한다.
• 해석은 표준 농도 경계 및 섭동 이론에 의존하며, 가우시안 입력이나 라벨 생성 가정을 요구하지 않는다.
• 이 프레임워크는 더 깊은 네트워크와 다른 1차 방법으로의 일반화를 시사한다.