[논문 리뷰] Stochastic Nested Variance Reduction for Nonconvex Optimization

Dongruo Zhou, Pan Xu외 1명|arXiv (Cornell University)|2018. 06. 20.

Stochastic Gradient Optimization Techniques참고 문헌 45인용 수 39

한 줄 요약

이 논문은 비볼록 유한합 최적화를 위한 새로운 확률적 1차 알고리즘인 Stochastic Nested Variance Reduction Gradient(SNVRG)를 제안한다. 이 알고리즘은 빠른 분산 감소를 갖는 반확률적 그래디언트를 구성하기 위해 K+1개의 중첩된 기준점들을 사용한다. 이 방법은 $ abla$-복잡도가 $ ablaig( ext{poly}(n) ext{ and } abla^{-2} + abla^{-3} ext{ and } n^{1/2} abla^{-2}ig)$로 향상되어, 기존의 최상의 방법들인 SVRG와 SCSG를 능가한다. 이는 $ abla$-근사 정류점($ abla$-approximate stationary point)을 찾는 데에 유리하다.

ABSTRACT

We study finite-sum nonconvex optimization problems, where the objective function is an average of $n$ nonconvex functions. We propose a new stochastic gradient descent algorithm based on nested variance reduction. Compared with conventional stochastic variance reduced gradient (SVRG) algorithm that uses two reference points to construct a semi-stochastic gradient with diminishing variance in each iteration, our algorithm uses $K+1$ nested reference points to build a semi-stochastic gradient to further reduce its variance in each iteration. For smooth nonconvex functions, the proposed algorithm converges to an $ε$-approximate first-order stationary point (i.e., $\| abla F(\mathbf{x})\|_2\leq ε$) within $ ilde O(n\land ε^{-2}+ε^{-3}\land n^{1/2}ε^{-2})$ number of stochastic gradient evaluations. This improves the best known gradient complexity of SVRG $O(n+n^{2/3}ε^{-2})$ and that of SCSG $O(n\land ε^{-2}+ε^{-10/3}\land n^{2/3}ε^{-2})$. For gradient dominated functions, our algorithm also achieves better gradient complexity than the state-of-the-art algorithms. Thorough experimental results on different nonconvex optimization problems back up our theory.

연구 동기 및 목표

• 기존의 분산 감소 방법을 넘어서 비볼록 유한합 최적화의 그래디언트 복잡도 격차를 해소하기 위해.
• 단지 매끄럽고 유한한 확률적 그래디언트 분산 조건을 유지하면서 $n$과 $\epsilon$에 대한 의존도를 줄이기 위해.
• 비볼록 환경에서 수렴 속도를 가속화하는 다중 기준점 분산 감소 기법을 개발하기 위해.
• 이중 기준점 방법들인 SVRG와 SCSG와 비교해 중첩된 분산 감소가 더 빠른 수렴을 이끌어내는지 이론적이고 실증적으로 검증하기 위해.

제안 방법

• 알고리즘은 빠른 분산 감소를 갖는 반확률적 그래디언트를 구성하기 위해 $K+1$개의 중첩된 기준점들을 사용한다.
• 각 반복에서 그래디언트는 다중 수준의 중첩에서 현재 기준점과 이전 기준점 그래디언트의 차이의 정규화된 합으로 계산된다.
• 이 방법은 다중 에포크 프레임워크를 기반으로 하며, 각 에포크는 $K$개의 수준을 순차적으로 거치는 중첩 루프로 구성되며, 각 수준은 별도의 배치 크기와 스텝 수를 갖는다.
• 최종 반복점은 수렴 보장과 강건성을 확보하기 위해 반복점 시퀀스에서 균일하게 무작위로 선택된다.
• 알고리즘은 계층적 기준점 업데이트를 통해 낮은 메모리 사용량을 유지하면서도 더 빠른 분산 감소를 달성하도록 설계되었다.
• 이론적 분석은 중첩된 기대값과 분산 분해를 활용하여 그래디언트 노름의 기대값을 경계한다.

실험 결과

연구 질문

• RQ1 분산 감소에서 기준점들을 중첩함으로써 비볼록 유한합 최적화에서 더 빠른 수렴이 이루어질 수 있는가?
• RQ2 동일한 조건 하에서 제안된 SNVRG 알고리즘이 SVRG와 SCSG보다 더 낮은 그래디언트 복잡도를 달성하는가?
• RQ3 더 높은 수렴 속도를 달성하면서도 낮은 계산 오버헤드를 유지할 수 있는가?
• RQ4 이론적 복잡도 향상은 표준 비볼록 기계학습 벤치마크에서 실증적으로 관찰 가능한가?

주요 결과

• 제안된 SNVRG 알고리즘은 매끄러운 비볼록 유한합 문제에서 $ abla$-근사 정류점($ abla$-approximate stationary point)을 찾는 데에 $ abla$-복잡도 $ ablaig(n \land \nabla^{-2} + \nabla^{-3} \land n^{1/2}\nabla^{-2}ig)$를 달성한다.
• 이 복잡도는 SVRG의 최고 수준인 $O(n + n^{2/3}\nabla^{-2})$와 SCSG의 $O(n \land \nabla^{-2} + \nabla^{-10/3} \land n^{2/3}\nabla^{-2})$를 모두 향상시킨다.
• 그래디언트 지배 함수의 경우에도 SNVRG는 최신 기술보다 더 낮은 그래디언트 복잡도를 달성하여 그 적용 범위의 광범위함을 확인한다.
• MNIST, CIFAR-10, SVHN 데이터셋에서의 철저한 실험을 통해 SNVRG는 훈련 손실과 검증 오차 측면에서 SGD, SGD-momentum, ADAM, SCSG, 기준 SVRG를 일관되게 능가함을 보였다.
• 학습률 감소를 사용할 경우, 다양한 데이터셋과 하이퍼파rameter 설정에서 안정적이고 더 빠른 수렴을 보였다.
• 실증 결과는 이론적 주장과 강력하게 일치하며, 중첩된 분산 감소가 그래디언트 분산을 줄이고 수렴 속도를 가속화하는 데 효과적임을 검증한다.