[논문 리뷰] Stochastic Variance Reduced Riemannian Eigensolver

Zhiqiang Xu, Yiping Ke|arXiv (Cornell University)|2016. 05. 26.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 비볼록 고유분해를 위한 리만다이언 맨폴드로 일반화된 새로운 스토하스틱 분산 감소 리만 고유값 해법인 SVRRG-EIGS를 제안한다. 고정 학습률을 허용하고 지수적 전역 수렴을 달성함으로써, 기존의 감소하는 학습률이 필요한 스토하스틱 리만 방법의 느린 선형 수렴을 극복한다.

ABSTRACT

We study the stochastic Riemannian gradient algorithm for matrix eigen-decomposition. The state-of-the-art stochastic Riemannian algorithm requires the learning rate to decay to zero and thus suffers from slow convergence and sub-optimal solutions. In this paper, we address this issue by deploying the variance reduction (VR) technique of stochastic gradient descent (SGD). The technique was originally developed to solve convex problems in the Euclidean space. We generalize it to Riemannian manifolds and realize it to solve the non-convex eigen-decomposition problem. We are the first to propose and analyze the generalization of SVRG to Riemannian manifolds. Specifically, we propose the general variance reduction form, SVRRG, in the framework of the stochastic Riemannian gradient optimization. It's then specialized to the problem with eigensolvers and induces the SVRRG-EIGS algorithm. We provide a novel and elegant theoretical analysis on this algorithm. The theory shows that a fixed learning rate can be used in the Riemannian setting with an exponential global convergence rate guaranteed. The theoretical results make a significant improvement over existing studies, with the effectiveness empirically verified.

연구 동기 및 목표

• 최신 기술의 스토하스틱 리만 고유값 해법이 감소하는 학습률이 필요한 느린 수렴 문제를 해결하기 위해.
• 유사도 공간(SVRG)의 분산 감소 기법을 비볼록 최적화를 위한 리만 다양체로 일반화하기 위해.
• 고정 학습률로 지수 수렴을 달성하는 새로운 알고리즘인 SVRRG-EIGS를 개발하기 위해.
• 기대값에서의 전역 수렴과 가속된 수렴 속도를 보여주는 엄밀한 이론적 분석을 제공하기 위해.
• 기존의 스토하스틱 리만 고유값 해법에 비해 제안된 방법의 우수성을 경험적으로 검증하기 위해.

제안 방법

• 스토하스틱 리만 기울기 최적화 프레임워크 내에서 일반적인 분산 감소 프레임워크인 SVRRG를 제안한다.
• SVRRG를 리만 고유값 해법 문제에 특화시켜 SVRRG-EIGS 알고리즘을 도출한다.
• 고유벡터 행렬의 정규직교성을 유지하기 위해 스티펠 맨폴드에서의 재구성(retroaction)과 리만 기울기 갱신을 사용한다.
• 주기적으로 데이터의 일부에서 전체 기울기를 계산하여 기울기 분산을 줄이기 위해 제어 변수 전략을 활용한다.
• 이중 단계의 에포크 구조를 도입한다: 내부 루프는 분산 감소 기울기를, 외부 루프는 전체 기울기 갱신을 수행한다.
• 집중 부등식과 반복적 오차 전파를 사용하여 이론적 경계를 유도하고 지수 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 유사도 공간의 분산 감소 기법을 비볼록 문제에 대한 리만 최적화로 일반화할 수 있는가?
• RQ2 제안된 SVRRG 프레임워크는 리만 설정에서 고정 학습률로 지수 수렴을 가능하게 하는가?
• RQ3 SVRRG-EIGS는 기존의 스토하스틱 리만 고유값 해법에 비해 수렴 속도와 해의 품질 측면에서 어떻게 비교되는가?
• RQ4 SVRRG-EIGS의 전역 수렴과 오차 감소에 대해 어떤 이론적 보장을 확보할 수 있는가?
• RQ5 수렴 가능성이 높은 조건을 확보하기 위해 필요한 학습률, 배치 크기, 초기화 조건은 무엇인가?

주요 결과

• SVRRG-EIGS는 감소하는 학습률이 필요한 DSRG-EIGS와는 달리 고정 학습률로 지수적 전역 수렴을 달성한다.
• 초기 오차와 하이퍼파rameter가 특정 조건을 만족할 경우, 알고리즘이 최적 해로 수렴함을 보장한다.
• 수렴 속도는 지수적으로 빠르며, 필요한 에포크 수는 목표 정확도 ε에 대해 로그 스케일링된다.
• 필요한 에포크 수는 T = ⌈log(1/ε)/log(1/φ)⌉이며, 이때 φ는 실패 확률을 제어한다.
• 경험적 결과는 SVRRG-EIGS가 DSRG-EIGS보다 훨씬 더 빠르게 수렴하고 고정 학습률에서도 더 뛰어난 해 품질을 달성함을 확인한다.
• 이론적 분석은 오차가 고정 확률로 O(φ^T)로 감소함을 보여주며, φ ∈ (0, 1)은 실패 확률을 제어하고, 이 경계는 문제에 특화된 상수에 의존한다.