[논문 리뷰] SPIDER: Near-Optimal Non-Convex Optimization via Stochastic Path Integrated Differential Estimator

Cong Fang, Chris Junchi Li외 2명|arXiv (Cornell University)|2018. 07. 04.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 74

한 줄 요약

SPIDER는 확률적 경로 적분 미분 추정기를 도입하여 결정적 양을 추적하면서 샘플링 비용을 크게 줄이고, 1차 및 2차 설정에서 비볼록 확률 최적화에 대해 거의 최적의 속도, 또한 0차 버전을 제공합니다.

ABSTRACT

In this paper, we propose a new technique named extit{Stochastic Path-Integrated Differential EstimatoR} (SPIDER), which can be used to track many deterministic quantities of interest with significantly reduced computational cost. We apply SPIDER to two tasks, namely the stochastic first-order and zeroth-order methods. For stochastic first-order method, combining SPIDER with normalized gradient descent, we propose two new algorithms, namely SPIDER-SFO and SPIDER-SFO extsuperscript{+}, that solve non-convex stochastic optimization problems using stochastic gradients only. We provide sharp error-bound results on their convergence rates. In special, we prove that the SPIDER-SFO and SPIDER-SFO extsuperscript{+} algorithms achieve a record-breaking gradient computation cost of $\mathcal{O}\left( \min( n^{1/2} ε^{-2}, ε^{-3} ) ight)$ for finding an $ε$-approximate first-order and $ ilde{\mathcal{O}}\left( \min( n^{1/2} ε^{-2}+ε^{-2.5}, ε^{-3} ) ight)$ for finding an $(ε, \mathcal{O}(ε^{0.5}))$-approximate second-order stationary point, respectively. In addition, we prove that SPIDER-SFO nearly matches the algorithmic lower bound for finding approximate first-order stationary points under the gradient Lipschitz assumption in the finite-sum setting. For stochastic zeroth-order method, we prove a cost of $\mathcal{O}( d \min( n^{1/2} ε^{-2}, ε^{-3}) )$ which outperforms all existing results.

연구 동기 및 목표

• 무작위 그래디언트만을 사용하여 비볼록 확률적 최적화를 효율적으로 동기 부여하고 해결한다.
• 샘플링 비용을 줄여 결정적 양을 추적하는 새로운 추정기 SPIDER를 개발한다.
• 근사적인 1차 및 2차 정상점(스테이셔너리 포인트)을 찾기 위한 수렴 속도를 더 빠르게 한다.
• SPIDER를 0차 최적화로 확장하고 함수 평가 비용 향상을 보인다.

제안 방법

• 샘플링 비용을 낮춰 그래디언트와 같은 양을 추적하기 위해 Stochastic Path-Integrated Differential Estimator (SPIDER)를 제안한다.
• 비볼록 최적화를 위한 SPIDER-SFO 및 SPIDER-SFO+를 만들기 위해 SPIDER를 Normalized Gradient Descent(NGD)와 결합한다.
• SPIDER 기반 estimators가 분산과 편향을 제어된 상태로 유지함을 보여주는 오차 경계(마르트가일 기준 분석)를 도출한다.
• SPIDER를 확률적 제로차(0차) 방법에 적용하고 함수 값 접근 비용을 줄인다.
• 유한합 및 온라인 설정을 포함하여 ε-근사 1차 포인트와 (ε, ε^0.5)-근사 2차 포인트를 찾기 위한 수렴 정리를 제공한다.

실험 결과

연구 질문

• RQ1 비볼록 확률적 최적화에서 ε-근사 1차 정상점을 찾기 위해 필요한 그래디언트 샘플링 복잡도를 SPIDER가 감소시킬 수 있는가?
• RQ2 표준 매끄러움 가정하에서 ε-근사 2차 정상점을 찾는 데 거의 최적의 속도를 SPIDER가 달성할 수 있는가?
• RQ3 SPIDER를 0차 비볼록 최적화에 적용할 때의 이익과 비용은 무엇인가?
• RQ4 그래디언트 복잡도와 견고성 측면에서 SPIDER가 기존의 분산 감소 및 안장점 탈출 방법과 어떻게 비교되는가?

주요 결과

• SPIDER-SFO는 ε-근사 1차 정상점을 찾기 위해 그래디언트 계산 비용이 O(min(n^1/2 ε^-2, ε^-3))에 도달한다.
• SPIDER-SFO+ (Negative-Curvature-Search 포함)는 Hessian-Lipschitz성 아래 (ε, O(ε^0.5))-근사 2차 정상점을 위한 그래디언트 비용이 Õ(min(n^1/2 ε^-2 + ε^-2.5, ε^-3))에 도달한다.
• 온라인/유한합 설정에서 SPIDER는 근사 1차 정상점을 찾기 위한 알고리즘적 하한에 거의 일치하며, 다항로그 인자와 상수까지의 차이가 있다.
• 0차 최적화용 SPIDER는 함수 평가 비용을 O(d min(n^1/2 ε^-2, ε^-3))로 달성하여 기존 결과를 개선한다.
• 해석은 SGD, SVRG, SAGA 등 다른 알고리즘에 확장할 수 있는 더 간단한 수렴 프레임워크를 제공한다.