[논문 리뷰] Convergence of gradient descent for deep neural networks

Sourav Chatterjee|arXiv (Cornell University)|2022. 03. 30.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 비볼록 최적화에서 경사하강법의 새로운 수렴 기준을 수립하며, 적절한 초기화 조건 하에서 입력 차원이 데이터 포인트 수와 같거나 초과할 경우, 부드럽고 엄격히 증가하는 활성화 함수를 가진 딥 네ural 네트워크에서 경사하강법이 전역 최소값으로 수렴함을 증명한다. 주요 기여는 네트워크의 너비가 데이터 크기에 따라 증가할 필요가 없으며, 약간의 조건 하에서 고정 너비 네트워크에서도 수렴이 가능하다는 점이다.

ABSTRACT

We give a simple local Polyak-Lojasiewicz (PL) criterion that guarantees linear (exponential) convergence of gradient flow and gradient descent to a zero-loss solution of a nonnegative objective. We then verify this criterion for the squared training loss of a feedforward neural network with smooth, strictly increasing activation functions, in a regime that is complementary to the usual over-parameterized analyses: the network width and depth are fixed, while the input data vectors are assumed to be linearly independent (in particular, the ambient input dimension is at least the number of data points). A notable feature of the verification is that it is constructive: it leads to a simple "positive" initialization (zero first-layer weights, strictly positive hidden-layer weights, and sufficiently large output-layer weights) under which gradient descent provably converges to an interpolating global minimizer of the training loss. We also discuss a probabilistic corollary for random initializations, clarify its dependence on the probability of the required initialization event, and provide numerical experiments showing that this theory-guided initialization can substantially accelerate optimization relative to standard random initializations at the same width.

연구 동기 및 목표

• 비볼록 최적화에서 경사하강법의 일반적인 수렴 기준을 수립하여 전역 최소값으로의 수렴을 보장하는 것.
• 비볼록성에도 불구하고 딥 러닝에서 경사하강법이 자주 전역 최소값을 찾는 이유를 이해하는 데의 격차를 메우는 것.
• 네트워크 너비가 데이터 크기에 따라 증가하는 것이 아니라 고정되어 있어도 수렴이 가능함을 보이는 것.
• 작은 스텝 크기를 가진 경사하강법이 초기화 근처 국소 영역에서 전역 최소값으로 지수적으로 빠르게 수렴할 조건을 제공하는 것.
• 부드럽고 엄격히 증가하는 활성화 함수를 가진 깊이가 임의인 딥 네ural 네트워크로 분석을 확장하는 것.

제안 방법

• 함수 값이 0이 아닌 점들에서 그라디언트 노름의 제곱을 함수 값으로 나눈 비율을 기반으로 한 새로운 수렴 기준을 도입한다. 이는 $ \alpha(x_0,r) = \inf_{x \in B(x_0,r), f(x) \neq 0} \frac{|\nabla f(x)|^2}{f(x)} $ 로 정의되며, 구내에서 $ f \equiv 0 $ 이면 $ \alpha = \infty $ 로 간주한다.
• 만약 $ 4f(x_0) < r^2 \alpha(x_0,r) $ 를 만족하면, 경사 유동(gradient flow)이 $ B(x_0,r) $ 내에서 전역 최소값으로 지수적으로 수렴하며, 수렴 속도에 대한 경계로 $ |\phi(t) - x^*| \leq r e^{-\alpha t/2} $ 와 $ f(\phi(t)) \leq e^{-\alpha t} f(x_0) $ 가 성립함을 증명한다.
• 작은 스텝 크기 $ \eta $ 를 가진 경사하강법에 대해 유사한 결과를 증명하여, 전역 최소값으로의 선형 수렴 속도를 확보한다: $ |x_k - x^*| \leq (1 - \delta)^{k/2} r $, $ f(x_k) \leq (1 - \delta)^k f(x_0) $, 여기서 $ \delta = \min\{1, (1 - \epsilon)\alpha\eta\} $ 이다.
• 딥 네트워크의 훈련 손실 $ S(w) $ 에 이 기준을 적용하여, 적절한 초기화(예: i.i.d. 정규 분포 무게) 조건 하에서 기준 $ 4S(w) < \frac{\delta^2}{4} \inf_{w' \in B(w,\delta/2)} \frac{|\nabla S(w')|^2}{S(w')} $ 가 양의 확률로 성립함을 보인다.
• 확률적 추론을 통해 입력 차원 $ d \geq \text{some constant} $ 일 때 초기화가 수렴 기준을 만족할 확률이 높으며, 연속성과 조건을 만족할 확률이 양수이므로 이를 모든 $ d $ 에 대해 확장함을 보인다.
• 손실 함수 $ S(w) $ 와 활성화 함수의 도함수에 대한 유계성 조건(일관되게 아래와 위로 유계)을 활용하여 그라디언트 대 손실 비율을 제어하고, 기준이 충족됨을 보장한다.

실험 결과

연구 질문

• RQ1 비볼록 딥 러닝 문제에서 네트워크 너비가 증가하지 않는 조건 하에서 경사하강법이 전역 최소값으로 수렴할 수 있는 조건은 무엇인가?
• RQ2 입력 차원과 활성화 함수에 대한 약간의 가정 하에 고정 너비 딥 네트워크에서 경사하강법이 전역 최소값으로 수렴할 수 있는가?
• RQ3 그라디언트 노름의 제곱을 함수 값으로 나눈 비율 $ |\nabla f|^2 / f $ 에 기반한 제안된 수렴 기준은 기존의 Kurdyka–Łojasiewicz 부등식과 어떻게 다를지 또는 강화하는가?
• RQ4 초기화가 국소 최소값을 피하고 전역 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ5 입력 차원이 데이터 포인트 수와 같거나 초과할 경우, 깊이 있는 네트워크에서 이 수렴 기준이 양의 확률로 만족될 수 있는가?

주요 결과

• 입력 차원이 데이터 포인트 수와 같거나 초과할 경우, 부드럽고 엄격히 증가하는 활성화 함수를 가진 딥 네트워크에서 작은 스텝 크기의 경사하강법이 훈련 손실의 전역 최소값으로 수렴함을 보였다.
• 연속 시간(경사 유동)에서는 지수 수렴이 이루어지고, 이산 시간(경사하강법)에서는 선형 수렴이 이루어지며, 수렴 속도에 대한 명시적 경계가 존재한다.
• 네트워크의 너비는 데이터 포인트 수에 따라 증가할 필요가 없으며, 이는 이전 연구에서 데이터 크기에 따라 너비가 증가해야 한다는 요구 조건과 대비된다.
• 입력 차원 $ d $ 가 충분히 클 경우, i.i.d. $ \mathcal{N}(0, c/d) $ 무게를 사용한 무작위 초기화가 수렴 기준을 만족할 확률이 높다.
• 모든 입력 차원 $ d $ 에 대해, 초기화가 수렴 기준을 만족할 확률이 양수이며, 이는 경사하강법이 전역 최소값으로 거의 확실하게 수렴함을 보장한다.
• 분석을 통해 특정 초기화 조건 하에서 훈련 손실 $ S(w) $ 가 양의 확률로 핵심 부등식 $ 4S(w) < \frac{\delta^2}{4} \inf_{w' \in B(w,\delta/2)} \frac{|\nabla S(w')|^2}{S(w')} $ 을 만족함을 보였으며, 이는 수렴 가능성을 보장한다.