[논문 리뷰] Fast and Faster Convergence of SGD for Over-Parameterized Models and an Accelerated Perceptron

Sharan Vaswani, Francis Bach외 1명|arXiv (Cornell University)|2018. 10. 16.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 25

한 줄 요약

이 논문은 과다매개변수 모델에서 강한 성장 조건(SGC) 하에, Nesterov 가속을 갖춘 일정 단계 크기의 확률적 경사 하강법(SGD)이 볼록 함수와 강한 볼록 함수 모두에 대해 결정론적 가속화 수렴 속도를 달성함을 입증한다. 또한 일정 단계 크기의 SGD가 더 약한 상호작용 기반 성장 조건 하에서 결정론적 수렴 속도를 따라잡는다고 보여주며, 제곱 허브 손실을 사용하는 확률적 퍼셉트론에 대해 O(1/k²)의 실수 bound를 증명한다.

ABSTRACT

Modern machine learning focuses on highly expressive models that are able to fit or interpolate the data completely, resulting in zero training loss. For such models, we show that the stochastic gradients of common loss functions satisfy a strong growth condition. Under this condition, we prove that constant step-size stochastic gradient descent (SGD) with Nesterov acceleration matches the convergence rate of the deterministic accelerated method for both convex and strongly-convex functions. We also show that this condition implies that SGD can find a first-order stationary point as efficiently as full gradient descent in non-convex settings. Under interpolation, we further show that all smooth loss functions with a finite-sum structure satisfy a weaker growth condition. Given this weaker condition, we prove that SGD with a constant step-size attains the deterministic convergence rate in both the strongly-convex and convex settings. Under additional assumptions, the above results enable us to prove an O(1/k^2) mistake bound for k iterations of a stochastic perceptron algorithm using the squared-hinge loss. Finally, we validate our theoretical findings with experiments on synthetic and real datasets.

연구 동기 및 목표

• 과다매개변수 모델에서 가속화된 SGD의 경험적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 현대 머신러닝 모델에 특화된 상호작용과 성장 조건 하에서 일정 단계 크기의 SGD 수렴 속도를 분석하기 위해.
• 강한 성장 조건을 사용하여 볼록 및 비볼록 설정 모두에서 가속화된 수렴을 확립하기 위해.
• 상호작용 성질을 활용하여 제곱 허브 손실 하에 확률적 퍼셉트론 알고리즘에 대한 실수 bound를 유도하기 위해.

제안 방법

• 과다매개변수 모델에서 확률적 그래디언트와 전체 그래디언트 간의 연결을 보장하는 핵심 가정으로 강한 성장 조건(SGC)을 도입한다.
• SGC 하에서 일정 단계 크기의 SGD에 Nesterov 가속을 적용하면 볼록 및 강한 볼록 함수에 대해 결정론적 가속 수렴 속도를 달성함을 증명한다.
• 상호작용 조건 하에서 모든 매끄러운 유한합 손실 함수가 더 약한 성장 조건을 만족함을 보여주며, 이로 인해 일정 단계 크기의 SGD가 결정론적 수렴 속도를 따라잡을 수 있음을 보장한다.
• SGC 하에서 일정 단계 크기의 SGD가 비볼록 설정에서 전체 그래디언트 하강법과 동일한 효율성으로 제1차 정류점에 도달함을 증명한다.
• 상호작용 조건 하에서 제곱 허브 손실을 사용하는 확률적 퍼셉트론에 대해 k 반복에 대해 O(1/k²)의 실수 bound를 유도한다.
• 선형 탐색 히우리스틱을 사용한 단계 크기 적응 기법을 활용해 합성 및 실질 데이터셋에서 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 Nesterov 가속을 갖춘 일정 단계 크기의 SGD가 과다매개변수 모델에서 결정론적 가속 수렴 속도를 달성할 수 있는가?
• RQ2 강한 성장 조건(SGC)이 일정 단계 크기의 SGD가 볼록 및 강한 볼록 설정 모두에서 결정론적 수렴 속도를 따라잡을 수 있음을 의미하는가?
• RQ3 더 약한 상호작용 기반 성장 조건을 사용하여 매끄러운 유한합 손실 함수에 대해 일정 단계 크기 수렴 속도를 증명할 수 있는가?
• RQ4 SGC가 비볼록 최적화 문제에서 전체 그래디언트 하강법과 동일한 효율성으로 제1차 정류점에 도달할 수 있도록 하는가?
• RQ5 상호작용 및 SGC를 활용하여 제곱 허브 손실 하에 확률적 퍼셉트론 알고리즘에 대해 유도할 수 있는 실수 bound는 무엇인가?

주요 결과

• 강한 성장 조건(SGC) 하에서, Nesterov 가속을 갖춘 일정 단계 크기의 SGD는 볼록 및 강한 볼록 함수 모두에 대해 결정론적 가속 수렴 속도를 달성한다.
• 상호작용 조건 하에서 매끄러운 유한합 손실 함수에 대해 더 약한 성장 조건이 성립하며, 이로 인해 일정 단계 크기의 SGD가 볼록 및 강한 볼록 설정 모두에서 결정론적 수렴 속도를 따라잡을 수 있다.
• SGC 하에서 일정 단계 크기의 SGD는 비볼록 최적화 문제에서 전체 그래디언트 하강법과 동일한 효율성으로 제1차 정류점에 도달한다.
• 논문은 상호작용 조건 하에서 제곱 허브 손실을 사용하는 확률적 퍼셉트론에 대해 k 반복에 대해 O(1/k²)의 실수 bound를 증명한다.
• 합성 및 실질 데이터셋에서의 실험을 통해 이론적 결과가 검증되었으며, 선형 탐색 히우리스틱을 사용할 경우 안정적이고 빠른 수렴이 관찰되었다.
• 제안된 선형 탐색 히우리스틱은 경험적 수렴을 향상시키며, 다양한 설정에서 Acc-SGD(LS)가 Acc-SGD(T)와 동일하거나 이를 초월하는 성능을 보였다.