[논문 리뷰] Faster First-Order Methods for Stochastic Non-Convex Optimization on Riemannian Manifolds

Pan Zhou, Xiao–Tong Yuan외 1명|arXiv (Cornell University)|2018. 11. 20.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 리만 다양체 위의 비볼록 문제에 대해 확장된 새로운 리만 스위치 최적화 방법인 R-SPIDER를 소개한다. 이 방법은 선형 공간을 대상으로 설계된 SPIDER 기반의 기울기 추정 기법을 비볼록 문제에 적용하여, 유한합 설정에서는 $Ó\big{(}\min\big{(}n+\frac{\sqrt{n}}{\epsilon^{2}},\frac{1}{\epsilon^{3}}\big{)}\big{)}$ 및 온라인 설정에서는 $Ó\big{(}\frac{1}{\epsilon^{3}}\big{)}$의 향상된 수렴 복잡도를 달성하며, 이는 이전의 리만 기반 일阶 최적화 방법을 능가한다.

ABSTRACT

SPIDER (Stochastic Path Integrated Differential EstimatoR) is an efficient gradient estimation technique developed for non-convex stochastic optimization. Although having been shown to attain nearly optimal computational complexity bounds, the SPIDER-type methods are limited to linear metric spaces. In this paper, we introduce the Riemannian SPIDER (R-SPIDER) method as a novel nonlinear-metric extension of SPIDER for efficient non-convex optimization on Riemannian manifolds. We prove that for finite-sum problems with $n$ components, R-SPIDER converges to an $\\epsilon$-accuracy stationary point within $\\mathcal{O}\\big(\\min\\big(n+\\frac{\\sqrt{n}}{\\epsilon^2},\\frac{1}{\\epsilon^3}\\big)\\big)$ stochastic gradient evaluations, which is sharper in magnitude than the prior Riemannian first-order methods. For online optimization, R-SPIDER is shown to converge with $\\mathcal{O}\\big(\\frac{1}{\\epsilon^3}\\big)$ complexity which is, to the best of our knowledge, the first non-asymptotic result for online Riemannian optimization. Especially, for gradient dominated functions, we further develop a variant of R-SPIDER and prove its linear convergence rate. Numerical results demonstrate the computational efficiency of the proposed methods.

연구 동기 및 목표

• 비볼록 최적화 문제에 대해 계산 복잡도가 증명 가능한 낮은 수준을 갖는 효율적인 일阶 최적화 방법이 리만 다양체 상에 부족한 문제를 해결하기 위해.
• 원래 선형 공간을 대상으로 설계된 SPIDER 기반 기울기 추정 기법을 비선형 리만 다양체로 확장하기 위해.
• 리만 다양체 상에서 유한합 및 온라인 설정에 대해 비점근적 수렴 복잡도 경계를 수립하기 위해.
• 기울기 지배 함수에 대해 선형 수렴을 달성하는 R-SPIDER의 변종을 개발하기 위해.
• 기존의 리만 기반 일阶 최적화 방법들과 비교하여 R-SPIDER의 계산적 우수성을 실증적으로 검증하기 위해.

제안 방법

• 리만 다양체 상에서 경로 통합 미분 추정을 사용하는 R-SPIDER를 제안하며, 이는 SPIDER 기반 기울기 추정기의 리만 확장이다.
• 반복 값을 기하학적 일致성을 유지하기 위해 기울기 경로를 따라 지오데식을 따라 업데이트하기 위해 리만 지수 매핑을 사용한다.
• 지오데식 상의 국소 경로 적분을 사용하여 기울기 노이즈를 적응적으로 제어하는 분산 감소 기반의 기울기 추정 전략을 도입한다.
• 리만 설정에서 전기 기울기 평가와 스위치 기울기 분산 간의 상충 관계를 분석하여 복잡도 경계를 유도한다.
• 초기 반복 단계에서 수렴 속도를 가속화하기 위해 적응형 학습률과 정규화를 도입한 변종 R-SPIDER-A를 개발한다.
• 주로 주성분 분석(PCA), 행렬 완성, 사전 학습 등의 문제를 포함하여 리만 다양체 상에서의 유한합 및 온라인 비볼록 최적화 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 SPIDER 기반 기울기 추정 기법이 리만 다양체로 효과적으로 확장되어 비볼록 최적화에서 낮은 계산 복잡도를 달성할 수 있는가?
• RQ2 리만 기반 일阶 최적화 방법의 최적 복잡도 경계는 유한합 및 온라인 비볼록 설정에서 어떻게 되는가?
• RQ3 SPIDER 프레임워크는 리만 다양체 상에서 기울기 지배 함수에 대해 선형 수렴을 달성할 수 있는가?
• RQ4 실제로 R-SPIDER는 기존의 리만 스위치 최적화 방법들과 비교하여 수렴 속도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ5 적응형 학습률과 기울기 정규화는 리만 다양체 상에서 R-SPIDER의 수렴 행동을 추가로 향상시킬 수 있는가?

주요 결과

• R-SPIDER는 유한합 문제에 대해 $Ó\big{(}\min\big{(}n+\frac{\sqrt{n}}{\epsilon^{2}},\frac{1}{\epsilon^{3}}\big{)}\big{)}$의 스위치 기울기 평가 횟수를 달성하며, 이는 이전의 리만 기반 방법보다 더 날카롭다.
• 온라인 최적화에서는 R-SPIDER가 $Ó\big{(}\frac{1}{\epsilon^{3}}\big{)}$의 복잡도를 확보하며, 이는 이 설정에서의 첫 번째 비점근적 결과이다.
• R-SPIDER-A는 $Ñ$-기울기 지배 함수에 대해 선형 수렴을 달성하며, 복잡도는 $Ó\big{(}\min\big{(}(n+\tau L\sqrt{n})\log(\frac{1}{\epsilon}),\frac{\tau L\sigma}{\epsilon}\big{)}\big{)}$이다.
• PCA 및 저질서 행렬 완성 문제에 대한 수치 실험 결과, R-SPIDER와 R-SPIDER-A는 R-SGD, R-SVRG, R-SRG와 비교해 상당히 더 빠르게 수렴함을 보였다. 특히 후반 단계에서 두드러진 성능 향상을 보였다.
• 기울기 정규화와 적응형 학습률 덕분에 R-SPIDER의 수렴 곡선은 기준 방법들보다 더 날카롭게 나타났으며, 이는 후반 단계에서의 진행 속도 향상을 강화한다.
• 실행 시간 비교 결과, IFO 복잡도가 전체 계산 성능을 정확히 반영함을 확인하였으며, 이는 이론적 복잡도 경계의 타당성을 검증한다.