[논문 리뷰] Non-convex Finite-Sum Optimization Via SCSG Methods

Lihua Lei, Cheng Ju외 2명|arXiv (Cornell University)|2017. 06. 28.

Stochastic Gradient Optimization Techniques인용 수 111

한 줄 요약

이 논문은 비볼록 유한합 문제를 위한 새로운 확률적 최적화 방법인 SCSG를 제안하며, 분산 감소와 확률적 제어를 활용하여 수렴 복잡도를 향상시킨다. 이는 $O(\min\{\epsilon^{-5/3}, \epsilon^{-1}n^{2/3}\})$의 복잡도 한계를 확립하여, 특히 낮은 목표 정확도에서 SGD와 최신 기법들을 능가하며, 딥 네ural 네트워크에서의 실험적 검증을 통해 입증된다.

ABSTRACT

We develop a class of algorithms, as variants of the stochastically controlled stochastic gradient (SCSG) methods , for the smooth nonconvex finite-sum optimization problem. Only assuming the smoothness of each component, the complexity of SCSG to reach a stationary point with $E \| abla f(x)\|^{2}\le \epsilon$ is $O(\min\{\epsilon^{-5/3}, \epsilon^{-1}n^{2/3}\})$, which strictly outperforms the stochastic gradient descent. Moreover, SCSG is never worse than the state-of-the-art methods based on variance reduction and it significantly outperforms them when the target accuracy is low. A similar acceleration is also achieved when the functions satisfy the Polyak-Lojasiewicz condition. Empirical experiments demonstrate that SCSG outperforms stochastic gradient methods on training multi-layers neural networks in terms of both training and validation loss.

연구 동기 및 목표

• 비볼록 유한합 최적화 문제에서 확률적 경사 하강 방법의 비효율적인 수렴 문제를 해결하기 위해.
• 특히 낮은 목표 정확도에서 기존 방법들보다 더 나은 복잡도 한계를 달성하는 방법을 개발하기 위해.
• 부드러움 조건과 Polyak-Lojasiewicz 조건 하에서 수렴 행동을 분석하기 위해.
• 딥 네ural 네트워크 학습에서 성능 향상을 실험적으로 검증하기 위해.

제안 방법

• 이 방법은 부드러운 비볼록 유한합 문제를 위한 확률적 제어 경사 하강(SGCS) 알고리즘의 변종이다.
• 수렴 가속과 기울기 추정의 안정성을 높이기 위해 분산 감소 기법을 통합한다.
• 기울기 업데이트에서 탐색과 이용의 균형을 이루기 위해 확률적 제어 메커니즘을 사용한다.
• 강한 볼록성 조건 없이, 구성 요소의 부드러움 조건만을 가정하여 수렴 분석을 수행한다.
• 수렴 속도 향상을 입증하기 위해 Polyak-Lojasiewicz 조건 하에서 방법을 분석한다.
• 학습 손실과 검증 손실을 지표로 삼아 다층 신경망에서의 실험적 평가를 수행한다.

실험 결과

연구 질문

• RQ1 SCSG는 비볼록 유한합 문제에서 확률적 경사 하강법보다 더 나은 수렴 복잡도를 달성할 수 있는가?
• RQ2 SCSG는 최신 기술의 분산 감소 기법과 비교해 수렴 속도와 정확도 측면에서 어떻게 다른가?
• RQ3 SCSG는 Polyak-Lojasiewicz 조건 하에서도 뛰어난 성능을 유지하는가?
• RQ4 SCSG는 딥 네ural 네트워크 학습에서 학습 손실과 검증 손실을 상당히 감소시킬 수 있는가?

주요 결과

• SCSG는 정류점에 도달하기 위해 $O(\min\{\epsilon^{-5/3}, \epsilon^{-1}n^{2/3}\})$의 수렴 복잡도를 달성하며, 이는 확률적 경사 하강법보다 엄밀히 개선된 성능이다.
• 이 방법은 최신 기술의 분산 감소 기법들보다 항상 열등하지 않으며, 특히 낮은 목표 정확도에서 뚜렷한 승리를 거두고 있다.
• Polyak-Lojasiewicz 조건 하에서, 일반적인 부드러운 경우와 유사한 가속 효과를 보였다.
• 실험 결과, SCSG는 다층 신경망에서 표준 확률적 경사 하강 방법들보다 학습 손실과 검증 손실을 더 효과적으로 감소시켰다.