[논문 리뷰] On the Convergence of Nesterov's Accelerated Gradient Method in Stochastic Settings

Mahmoud Assran, Michael Rabbat|arXiv (Cornell University)|2020. 02. 27.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 10

한 줄 요약

이 논문은 확률적 설정에서 네스테로프 가속 경사 하강법을 분석하여, 일정한 스텝 사이즈와 모멘텀을 사용할 때 스 tochastic approximation 설정에서 최적점의 이웃으로 선형 수렴함을 보여준다. 놀랍게도 유한합 설정에서는 표준적인 파rameter 설정 조건을 만족하지 않으면, 조건화 및 데이터 일관성에 대한 추가 조건이 충족되지 않으면 방법이 발산할 수 있음을 드러내며, 실용적인 머신러닝 응용 분야에서의 임계적인 한계를 드러낸다.

ABSTRACT

We study Nesterov's accelerated gradient method with constant step-size and momentum parameters in the stochastic approximation setting (unbiased gradients with bounded variance) and the finite-sum setting (where randomness is due to sampling mini-batches). To build better insight into the behavior of Nesterov's method in stochastic settings, we focus throughout on objectives that are smooth, strongly-convex, and twice continuously differentiable. In the stochastic approximation setting, Nesterov's method converges to a neighborhood of the optimal point at the same accelerated rate as in the deterministic setting. Perhaps surprisingly, in the finite-sum setting, we prove that Nesterov's method may diverge with the usual choice of step-size and momentum, unless additional conditions on the problem related to conditioning and data coherence are satisfied. Our results shed light as to why Nesterov's method may fail to converge or achieve acceleration in the finite-sum setting.

연구 동기 및 목표

• 스토하스틱 근사 및 유한합 설정 모두에서 스 tochastic 그레디언트를 사용할 때 네스테로프 가속 경사 하강법의 수렴 행동을 이해하는 것.
• 정규적인 경우 이론적으로 보장되지만, 유한합 설정에서는 수렴하지 못하거나 가속을 달성하지 못할 수 있는 이유를 규명하는 것.
• 강한 성장 조건 또는 인터폴레이션 조건을 요구하지 않고, 일정한 스텝 사이즈와 모멘텀을 사용하는 유한합 설정에서 가속 스 tochastic 그레디언트(ASG) 방법의 수렴 조건을 설정하는 것.
• 유한합 문제에서 스 tochastic 그레디언트 하강법과 ASG 방법의 수렴 속도 및 분산에 대한 날카운 이론적 경계를 제공하는 것.
• 특히 비이상적인 미니배치 상황에서 최적화의 안정성 향상과 분산 감소에 기여하는 음의 모멘텀 파라미터의 역할을 탐색하는 것.

제안 방법

• 피드백을 가진 선형 동적 시스템으로서 ASG 방법을 분석하여 제어 이론적 안정성 프레임워크를 사용해 수렴 조건을 유도하는 것.
• 리아푸노프 기반 증명 기법을 적용하여 매끄럽고 강하게 볼록하며 두 번 연속으로 미분 가능한 목적함수에서 ASG 방법의 수렴 경계를 도출하는 것.
• 특히 유한합 설정에서 시스템 행렬의 공동 스펙트럴 반경을 사용하여 이론적 수렴 속도 및 분산 경계를 유도하는 것.
• 다양한 조건 수와 미니배치 구조를 가진 최소제곱 문제를 사용하여 이론적 예측을 경험적으로 검증하는 것.
• 이론적 수렴 속도(점선)와 유한합 설정에서의 경험적 성능(실선)을 비교하여 경계의 날카움을 입증하는 것.
• 양의 및 음의 모멘텀 파라미터를 모두 고려하여 그들이 수렴 속도와 분산 감소에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 스토하스틱 근사 설정에서 일정한 스텝 사이즈와 모멘텀을 사용할 때 네스테로프의 가속 경사 하강법이 수렴하는가?
• RQ2 스토하스틱 근사 설정에서는 작동하지만 유한합 설정에서는 왜 네스테로프 방법이 발산할 수 있는가?
• RQ3 유한합 설정에서 수렴하기 위해 필요한 문제 구조적 조건은 무엇인가? (예: 조건화 및 데이터 일관성)
• RQ4 인터폴레이션 또는 강한 성장 조건을 가정하지 않고도, 유한합 설정에서 ASG 방법의 날카운 이론적 수렴 속도 및 분산 경계를 도출할 수 있는가?
• RQ5 유한합 최적화에서 수렴 개선 또는 분산 감소에 기여하는 음의 모멘텀 파라미터의 역할은 무엇인가?

주요 결과

• 스토하스틱 근사 설정에서는 네스테로프 방법이 결정론적 경우에서 관찰되는 가속된 속도로 최적점의 이웃으로 선형 수렴한다.
• 유한합 설정에서는 표준적인 스텝 사이즈와 모멘텀 설정 조건을 만족하지 않으면, 문제의 조건화 및 데이터 일관성에 대한 추가 조건이 충족되지 않으면 방법이 발산할 수 있다.
• 유한합 설정에서 스 tochastic 그레디언트 하강법에 대해, 강한 성장 조건이나 인터폴레이션 가정 없이도 $ \left(\frac{Q-1}{Q+1}\right)^k $ 의 날카운 수렴 속도와 $ \frac{1}{\mu}\sigma $ 의 분산 경계를 확립하였다.
• 코로나리 4.2의 이론적 수렴 속도 및 분산 경계는 다양한 조건 수 $ Q $ 에 대해 경험적으로 날카운 것으로 검증되었으며, 시뮬레이션에서 실선이 점선 이론선과 일치함을 보였다.
• 음의 모멘텀 파라미터는 분산을 감소시키고 안정성을 향상시킬 수 있으나, 수렴 속도를 늦출 수 있다; 이는 적응적 스케줄링이나 악성 훈련을 안정화시키는 데 유용할 수 있다.
• 공동 스펙트럴 반경 프레임워크는 더 날카운 수렴 경계를 도출하는 데 유망한 길을 열어주지만, 계산하기는 여전히 도전적이다.