[논문 리뷰] Towards moderate overparameterization: global convergence guarantees for training shallow neural networks

Samet Oymak, Mahdi Soltanolkotabi|arXiv (Cornell University)|2019. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 86

한 줄 요약

본 논문은 매끄러운 활성화 함수나 ReLU를 가진 한 은닉층 신경망에서 경사하강법(및 SGD)이 데이터 크기를 상수배 초과하는 매개변수 수에 도달했을 때 훈련 데이터를 완벽히 보간하는 전역 최적점으로 수렴한다는 것을 증명한다. 구체적으로 매끄러운 경우 kd^? ≥ n^2 이고, ReLU의 경우 최대 n^2/d에 도달할 때까지, 빠른 기하적 수렴 속도로 수렴한다.

ABSTRACT

Many modern neural network architectures are trained in an overparameterized regime where the parameters of the model exceed the size of the training dataset. Sufficiently overparameterized neural network architectures in principle have the capacity to fit any set of labels including random noise. However, given the highly nonconvex nature of the training landscape it is not clear what level and kind of overparameterization is required for first order methods to converge to a global optima that perfectly interpolate any labels. A number of recent theoretical works have shown that for very wide neural networks where the number of hidden units is polynomially large in the size of the training data gradient descent starting from a random initialization does indeed converge to a global optima. However, in practice much more moderate levels of overparameterization seems to be sufficient and in many cases overparameterized models seem to perfectly interpolate the training data as soon as the number of parameters exceed the size of the training data by a constant factor. Thus there is a huge gap between the existing theoretical literature and practical experiments. In this paper we take a step towards closing this gap. Focusing on shallow neural nets and smooth activations, we show that (stochastic) gradient descent when initialized at random converges at a geometric rate to a nearby global optima as soon as the square-root of the number of network parameters exceeds the size of the training data. Our results also benefit from a fast convergence rate and continue to hold for non-differentiable activations such as Rectified Linear Units (ReLUs).

연구 동기 및 목표

• 과대매개변수화된 얕은 신경망에서 1차 방법의 전역 수렴에 필요한 과매개변수화 수준을 동기 부여하고 정량화한다.
• 무작위로 초기화된 경사하강법이 기하적으로 모든 훈련 데이터를 보간하는 전역 최적해로 수렴함을 보인다.
• ReLU 활성화 및 SGD로의 확장을 통해 수렴 보장과 수렴 속도를 제공한다.
• 이론과 실제의 간극을 좁히기 위해 중간 수준의 과매개변수화만으로도 충분하다는 것을 보여준다.

제안 방법

• 고정된 v를 두고 W를 학습시키는 한 은닉층 네트워크 f(x;W)=v^T phi(Wx)를 이차 손실 하에서 분석한다.
• kd와 n 및 데이터 특성과의 관계에 대한 조건을 도출하고 경사하강법 및 SGD 업데이트 규칙을 확립한다.
• Khatrio-Rao 곱 및 Hadamard 곱의 스펙트럴 특성과 랜덤 매트릭스 이론을 사용하여 초기화 시 야코비 행렬의 스펙트럼을 상한한다.
• 기하적 수렴 속도를 보인다: ||f(W_τ)-y||_2가 (1 - c μ^2/B^2 …)^τ로 고확률 하에서 감소한다.
• 단위 구에서의 무작위 데이터와 같은 표준 데이터 모델에 대한 보도를 제시하여 kd ≳ n^2 스케일링을 보여준다.
• ReLU 활성화에 결과를 확장하되 과매개변수화 요건을 조정하고 유사한 수렴 진술을 제시한다.

실험 결과

연구 질문

• RQ1 얕은 네트워크에서 경사 기반 방법이 제로 훈련 오차를 달성하기 위해 필요한 최소 과매개변수화 수준은 무엇인가?
• RQ2 kd가 데이터 크기를 상수배 초과하거나 그 이상일 때 무작위 초기화와 1차 방법이 전역 최적점으로 수렴하는가?
• RQ3 매끄러운 활성화와 ReLU 활성화는 필요한 과매개변수화 및 수렴 속도에서 어떤 차이가 있는가?
• RQ4 SGD 업데이트는 전체 배치 경사하강법에서 관찰된 전역 수렴 보장을 상속하는가?
• RQ5 중간 정도의 과매개변수화 영역에서 이론과 실제의 실질적 차이에 대해 어떤 시사점이 있는가?

주요 결과

• 매끄러운 활성화를 갖는 한 은닉층 네트워크에서 경사하강법은 전역 최적해로 기하적으로 수렴하고, 학습 데이터에 완벽하게 맞춘 상태로 수렴한다: ||f(W_τ)-y||_2가 sqrt(kd) ≥ c (B^2/μ_φ^2) (1+δ) κ(X) n 조건 하에서.
• ReLU 활성화의 경우도 유사한 보장이 성립하며 sqrt(kd) ≥ C (1+δ) n^2/d κ^3(X) σ_min^2(X*X) 조건에서 성립한다.
• 도함은 일반적으로 kd ≳ n^2 스케일링이 표준 데이터 설정에서 충분함을 보여주는 코리올라가 있으며, n ≲ d일 때는 해가 k ≳ n으로 축소되고 차원의존성도 감소한다.
• 무작위 초기화된 SGD도 GD와 비슷한 수렴 속도로 전역 최적해 근처로 빠르게 수렴하며, 적절한 파라미터에서 초기화에 근접한 상태를 유지한다.
• 수치 실험은 성공 확률이 n=kd 경계 근처에서 정렬되는 위상 전이를 보여주며, 실용적 과매개변수화 수준이 이 임계치에 근접할 수 있음을 시사한다.
• 이 작업은 커널-유사한 무작위 특성(ks ≲ n)과 중간 정도의 과매개변수화 영역에서의 더 깊은 최적화 보장을 연결한다.