[논문 리뷰] Riemannian SVRG: Fast Stochastic Optimization on Riemannian Manifolds

Hongyi Zhang, Sashank J. Reddi외 1명|arXiv (Cornell University)|2016. 05. 23.

3D Shape Modeling and Analysis참고 문헌 36인용 수 85

한 줄 요약

이 논문은 리만 다양체 위의 유한합 문제를 위한 최초의 분산 감소(stochastic variance reduction) 최적화 방법인 리만 SVRG를 소개한다. 기하학적으로 강凸인 함수에 대해 전역 선형 수렴성을 확보하며, 비볼록 리만 최적화에 대한 최초의 비점근 복잡도 분석을 제공한다. 수렴 속도는 다각형의 곡률에 따라 달라진다.

ABSTRACT

We study optimization of finite sums of geodesically smooth functions on Riemannian manifolds. Although variance reduction techniques for optimizing finite-sums have witnessed tremendous attention in the recent years, existing work is limited to vector space problems. We introduce Riemannian SVRG (RSVRG), a new variance reduced Riemannian optimization method. We analyze RSVRG for both geodesically convex and nonconvex (smooth) functions. Our analysis reveals that RSVRG inherits advantages of the usual SVRG method, but with factors depending on curvature of the manifold that influence its convergence. To our knowledge, RSVRG is the first provably fast stochastic Riemannian method. Moreover, our paper presents the first non-asymptotic complexity analysis (novel even for the batch setting) for nonconvex Riemannian optimization. Our results have several implications; for instance, they offer a Riemannian perspective on variance reduced PCA, which promises a short, transparent convergence analysis.

연구 동기 및 목표

• 기계학습과 행렬 기하학에서 흔한 리만 유한합 문제에 대해 빠른 스토하스틱 최적화 방법의 부족을 해결한다.
• 표준 리만 스토하스틱 및 전체 기울기 방법의 한계를 극복한다. 이는 느린 수렴성 또는 높은 반복 비용으로 인해 발생한다.
• 리만 기하학에 맞춘 분산 감소 프레임워크를 개발하여 곡률이 있는 다각형 위의 대규모 문제에서 더 빠른 수렴을 가능하게 한다.
• 스토하스틱 리만 최적화의 전역 비점근 수렴 분석을 처음으로 convex 및 nonconvex 설정 모두에 적용한다.
• 주로 고유벡터 계산 및 정의된 양의 정합 행렬 위의 리만 중심 추정에 응용하여 방법의 효과성을 입증한다.

제안 방법

• 리만 지수 매핑과 재구성(retraction)을 사용하여 다각형 위에서 업데이트를 정의함으로써 투영 단계를 피하는 리만 SVRG(Rsvrg)를 제안한다.
• 특히 섹션 곡률을 고려한 새로운 이론적 분석을 도입하여, 수렴 속도의 경계에 다각형 곡률을 반영한다.
• 지오데식 스무스니스와 지오데식 볼록성 가정을 사용하여 convex 및 nonconvex 설정 모두에서 수렴 보장을 유도한다.
• 특정 문제들, 예를 들어 분산 감소 주성분 분석과 리만 중심 계산에 방법을 적용하여 기존 기준 방법보다 향상된 수렴 성능를 보여준다.
• 수렴 속도가 곡률 매개변수에 따라 달라지며, 최적의 스텝 사이즈는 $ O(1/( heta^3 n)) $로 표현되며, 여기서 $ heta $는 다각형 곡률과 관련된다.

실험 결과

연구 질문

• RQ1 유클리드 공간에서의 분산 감소 기법을 리만 유한합 최적화 문제로 성공적으로 확장할 수 있는가?
• RQ2 지오데식 비볼록 및 기울기 지배되지 않는 함수에 대해 스토하스틱 리만 최적화의 전역 비점근 수렴 속도는 무엇인가?
• RQ3 다각형 곡률은 스토하스틱 리만 최적화 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 리만 SVRG는 다각형 위의 지오데식 강볼록 문제에서 선형 수렴을 달성할 수 있으며, 배치 및 스토하스틱 기울기 방법과 비교해 볼 때 어떤가?
• RQ5 리만 공식화는 PCA나 리만 중심 계산과 같은 고전적 문제에 대해 어떤 통찰을 제공하는가?

주요 결과

• 리만 SVRG는 지오데식 강볼凸 함수에 대해 전역 선형 수렴성을 확보하며, 수렴 속도는 다각형 곡률에 명시적으로 의존한다.
• 비볼록 설정에서 스토하스틱 리만 최적화에 대한 최초의 비점근 복잡도 분석을 제공한다. 배치 경우조차도 적용 가능하다.
• 분산 감소 주성분 분석(VR-PCA)의 경우, 리만 공식화는 수렴 분석을 간결하고 명확하게 설명하며, VR-PCA의 빠른 수렴을 설명한다.
• 실험 결과, 특히 대규모 문제에서 반복 복잡도 측면에서 리만 전체 기울기(RGD) 및 스토하스틱 기울기(RSGD) 방법보다 리만 SVRG가 뛰어난 성능을 보였다.
• 리만 중심 계산 작업에서 Rsvrg는 선형 수렴을 달성하며, 기준 방법 대비 오라클 호출 수를 크게 감소시켰다.
• Rsvrg의 IFO 복잡도는 $ 1/\text{eigengap} $에 선형적으로 비례하며, VR-PCA의 성능과 일치하여 두 방법 간의 밀접한 기하학적 연결을 확인한다.