[논문 리뷰] Stochastic Recursive Gradient Algorithm for Nonconvex Optimization

Lam M. Nguyen, Jie Liu외 2명|arXiv (Cornell University)|2017. 05. 20.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 67

한 줄 요약

이 논문은 일반 비볼록 유한합 문제에 대한 미니배치 SARAH를 분석하여 일반 비볼록 함수에서의 서브선형 수렴과 그래디언트-지배 함수에서의 선형 수렴을 증명하며, 미니배치 효과에 대한 통찰을 제공합니다.

ABSTRACT

In this paper, we study and analyze the mini-batch version of StochAstic Recursive grAdient algoritHm (SARAH), a method employing the stochastic recursive gradient, for solving empirical loss minimization for the case of nonconvex losses. We provide a sublinear convergence rate (to stationary points) for general nonconvex functions and a linear convergence rate for gradient dominated functions, both of which have some advantages compared to other modern stochastic gradient algorithms for nonconvex losses.

연구 동기 및 목표

• Machine Learning에서 일반적으로 큰 규모의 비볼록 문제로의 효율적 최적화 동기화

제안 방법

• SVRG와 유사한 외부 루프와 내부 루프를 갖되 재귀적 그래디언트 추정기를 사용하는 미니배치 SARAH 알고리즘을 제안합니다
• 내부 루프 업데이트: v_t = (1/b) sum_{i in I_t} [∇f_i(w_t) − ∇f_i(w_{t-1})] + v_{t-1} 와 w_{t+1} = w_t − η v_t
• 각 외부 루프 시작 시 전체 그래디온을 계산하므로 외부 루프당 복잡도는 O(n + bm) 그래디언트 평가
• L-매끄러움(가정 1) 및 그래디언트 지배(가정 2) 하의 이론적 수렴 분석을 제공합니다
• η와 m 매개변수 선택에 따라 SARAH-IN은 서브선형 수렴, 그래디언트-지배 함수에서는 선형 수렴을 도출
• 수렴에 대한 미니배치 크기 b의 역할을 논의하고, 속도 및 총 복잡도에 대한 b의 영향에 대한 코테를 제공합니다

실험 결과

연구 질문

• RQ1 일반 비볼록 목적함수에 대해 미니배치 SARAH가 달성하는 수렴 속도는 무엇인가?
• RQ2 그래디언트-지배 비볼록 함수에서 SARAH가 선형 수렴을 누리려면 어떤 조건이 필요한가?
• RQ3 미니배치 크기가 SARAH의 수렴 및 복잡도 한계에 어떤 영향을 미치는가?
• RQ4 이론적 및 실험적 측면에서 비볼록 경험적 손실 최소화에 대해 SGD, SVRG, GD와 SARAH를 어떻게 비교하는가?
• RQ5 신경망에서 SARAH 및 그 변형(SARAH+)을 구현할 때의 실용적 고려사항은 무엇인가?

주요 결과

Method	Nonconvex	τ-Gradient Dominated
GD	O(nL/ε)	O(nLτ log(1/ε))
SGD	O(Lσ^2/ε^2)	O(Lτσ^2/ε^2)
SVRG	O(n + n^{2/3}L/νε)	O((n + n^{2/3}Lτ/ν) log(1/ε))
SARAH	O(n + L^2/ε^2)	O((n + L^2τ^2) log(1/ε))

• SARAH-IN은 적절한 η와 내부 루프 길이 m에 대해 일반 비볼록 P에 대해 기대값에서 서브선형 수렴을 달성합니다
• 그래디언트-지배(τ-그래디언트 지배) P의 경우, 적절한 η와 m 하에서 최적해로의 선형 수렴을 달성하며, 속도는 τ와 L에 따라 달라집니다
• ε-정확도에 도달하기 위한 총 IFO 복잡도는 일반 비볼록 설정에서 O(n + L^2/ε^2), 그래디언트 지배의 경우 O((n + L^2 τ^2) log(1/ε))입니다
• 미니배치 크기 b는 허용 가능한 학습률과 내부 루프 크기에 영향을 주며, 더 큰 b가 더 빠른 실용적 수렴을 가능하게 합니다
• 실용적 SARAH+ 변형은 적응형 내부 루프 종료를 사용하고 신경망(MNIST, CIFAR-10)에서 SVRG 및 SGD 기반 방법에 비해 경쟁력이 있습니다