[논문 리뷰] Averaging Stochastic Gradient Descent on Riemannian Manifolds

Nilesh Tripuraneni, Nicolas Flammarion외 2명|arXiv (Cornell University)|2018. 02. 26.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 40

한 줄 요약

본 논문은 느리게 수렴하는 SGD 반복을 리만 다양체에서 견고하고 빠르게 수렴하는 평균화된 시퀀스로 바꿔 주는 기하학적 프레임워크를 개발하여, O(1/n) 수렴 속도와 지오데시-강볼록 문제 및 스트리밍 k-PCA에의 응용을 포함합니다.

ABSTRACT

We consider the minimization of a function defined on a Riemannian manifold $\mathcal{M}$ accessible only through unbiased estimates of its gradients. We develop a geometric framework to transform a sequence of slowly converging iterates generated from stochastic gradient descent (SGD) on $\mathcal{M}$ to an averaged iterate sequence with a robust and fast $O(1/n)$ convergence rate. We then present an application of our framework to geodesically-strongly-convex (and possibly Euclidean non-convex) problems. Finally, we demonstrate how these ideas apply to the case of streaming $k$-PCA, where we show how to accelerate the slow rate of the randomized power method (without requiring knowledge of the eigengap) into a robust algorithm achieving the optimal rate of convergence.

연구 동기 및 목표

• 리만 다가상에서의 확률적 최적화에 대한 동기를 부여하고 이 설정으로의 반복 평균화를 확장합니다.
• 스트리밍 평균화를 통해 느린 SGD 수렴을 O(1/n) 속도로 빠르게 만드는 기하학적 프레임워크를 개발합니다.
• 다양체에서의 지오데시-강볼록 문제를 위한 일반 이론을 제공합니다.
• 스트리밍 PCA와 같은 응용에서 프레임워크를 시연하여 최적의 수렴 속도를 달성합니다.

제안 방법

• R 재traction과 그 역원을 사용하여 리만 다양체에서 SGD를 정의하고 다양체 주위에서 스트리밍 평균 업데이트를 제안: x_n = R_{x_{n-1}}(-γ_n ∇f_n(x_{n-1})).
• 기하학적 평균화 단계를 도입: tilde{x}_n = R_{tilde{x}_{n-1}}((1/n) R_{tilde{x}_{n-1}}^{-1}(x_n)).
• Δ_n = R_{x*}^{-1}(x_n)로 접지 공간 T_{x*}M에서 SGD 재귀를 선형화하고 잡음 및 고차 오차 항을 포함하는 섞인 선형 재귀를 도출.
• 평균화된 접지 벡터 bar{Δ}_n가 점근적으로 O(1/√n) 속도로 수렴하고, 공분산 ∇^2f(x*)^{-1} Σ ∇^2f(x*)^{-1}를 갖는 점근적으로 가우시안 분포를 가진다고 증명.
• 접지 공간 결과를 다양체로 다시 변환하여 계산 가능한 스트리밍 평균 tilde{x}_n의 수렴 보장을 얻습니다.
• 유한합 구조를 요구하지 않는 표준 확률적 근사 및 리만 기하학 가정(한정된 반복, Lipschitz Hessian, geodesic/retraction convexity)을 적용하여 비점근적 경계 및 점근적 정규성을 얻습니다.

실험 결과

연구 질문

• RQ1 폴리악-루프트 반복 평균화가 리만 다양체에서의 확률적 최적화에 적응될 수 있는가?
• RQ2 리만ian 반복 평균화가 지오데시-강볼록 설정에서 견고하고 최적의 O(1/n) 수렴 속도를 제공하는가?
• RQ3 스트리밍 PCA와 같이 다양체에서 본 비볼록 유클리드 문제에 평균화 기법을 어떻게 적용할 수 있는가?
• RQ4 다양체, 목적함수 및 확률적 그래디언트에 대한 어떤 조건이 다양체에서의 평균화 스킴이 크래머-라오 bound를 달성하도록 보장하는가?

주요 결과

• 기하학적 평균화 프레임워크는 다양체에서 느리게 수렴하는 SGD 반복을 견고한 O(1/n) 수렴을 갖는 평균화 시퀀스로 바꿉니다.
• 상술된 가정하에서, 스케일된 오차 √n tilde{Δ}_n가 분포상 ∇^2f(x*)^{-1} Σ ∇^2f(x*)^{-1}의 공분산을 갖는 정규분포로 수렴합니다.
• 4차 모멘트의 경계가 성립할 때, 평균화 오차 E[|| tilde{Δ}_n ||^2]에 대한 비점근적 경계가 주어지며, 1/n 항과 더 높은 차수 보정항을 보입니다.
• 프레임워크는 γ_n ~ 1/n^α인 스텝크를 갖는 지오데시-강볼록 함수에 대해 견고하고 전역적으로 수렴하는 접근 방식을 제공하며, 최적의 점근 분산을 달성합니다.
• 스트리밍 k-PCA에서 이 방법은 특정 스펙트럼 조건(예: λ_k > λ_{k+1}) 하에서 알려진 최적 공분산 구조와 일치하는 점근 분포를 갖는 빠르고 견고한 알고리즘을 제공합니다.
• 결과는 유한합 구조를 요구하지 않으면서도 리만 설정에 고전적 유클리드 평균화의 이점을 확장합니다.