[논문 리뷰] Riemannian stochastic variance reduced gradient on Grassmann manifold

Hiroyuki Kasai, Hiroyuki Sato외 1명|arXiv (Cornell University)|2016. 05. 24.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 10

한 줄 요약

이 논문은 리만 기하학과 분산 감소를 융합하여 그라스만 만에 대한 최적화를 위한 리만 스위치 분산 감소 기울기(RSVRG)를 제안한다. 국소 기하학과 기울기 분산 감소를 활용함으로써 표준 리만 스위치 기울기 방법보다 수렴 속도를 빠르게 하여, 저질서 행렬 복원 문제에서 뛰어난 성능을 보인다.

ABSTRACT

Stochastic variance reduction algorithms have recently become popular for minimizing the average of a large, but finite, number of loss functions. In this paper, we propose a novel Riemannian extension of the Euclidean stochastic variance reduced gradient algorithm (R-SVRG) to a compact manifold search space. To this end, we show the developments on the Grassmann manifold. The key challenges of averaging, addition, and subtraction of multiple gradients are addressed with notions like logarithm mapping and parallel translation of vectors on the Grassmann manifold. We present a global convergence analysis of the proposed algorithm with decay step-sizes and a local convergence rate analysis under fixed step-size with some natural assumptions. The proposed algorithm is applied on a number of problems on the Grassmann manifold like principal components analysis, low-rank matrix completion, and the Karcher mean computation. In all these cases, the proposed algorithm outperforms the standard Riemannian stochastic gradient descent algorithm.

연구 동기 및 목표

• 표준 리만 스위치 기울기 방법이 그라스만 만에서 느린 수렴을 보이는 문제를 해결하기 위해.
• 비유클리드적이고 저질서 행렬 최적화 문제에 특화된 분산 감소 최적화 프레임워크를 개발하기 위해.
• 리만 기하학을 활용하여 대규모 저질서 행렬 복원 작업에서 수렴 속도와 안정성을 향상시키기 위해.
• 제안된 RSVRG 방법이 그라스만 만에서 이론적으로 수렴 보장을 확립하기 위해.

제안 방법

• 그라스만 만에서 리만 최적화에 분산 감소를 통합한 리만 스위치 분산 감소 기울기(RSVRG) 알고리즘을 제안한다.
• 반복 값을 그라스만 만에 유지하기 위해 재접속과 벡터 운반을 사용한다.
• 데이터의 일부에 대해 주기적으로 기울기를 재계산하여 스위치 업데이트의 노이즈를 줄임으로써 분산 감소를 적용한다.
• 외부 루프에서 전체 기울기 계산과 내부 루프에서 분산 감소된 스위치 업데이트를 수행하는 이중 루프 구조를 사용한다.
• 그라스만 만의 리만 기하학적 구조를 활용하여 지오데식 거리와 지수 매핑을 정의하여 정확한 하강 단계를 확보한다.
• 기본 가정 하에 수렴 속도를 유도하여, 제안된 방법이 선형 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 분산 감소 기법은 그라스만 만에서 리만 최적화에 효과적으로 적용될 수 있는가?
• RQ2 제안된 RSVRG 방법은 표준 리만 스위치 기울기 하강법보다 더 빠른 수렴을 달성하는가?
• RQ3 RSVRG 알고리즘의 이론적 수렴 속도는 그라스만 만에서 어떻게 되는가?
• RQ4 기존 방법과 비교해 RSVRG는 실질적인 저질서 행렬 복원 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• 기본 가정 하에 제안된 RSVRG 방법은 그라스만 만에서 선형 수렴을 달성하며, 표준 리만 스위치 기울기 하강법보다 뛰어난 성능을 보인다.
• 실험 결과에 따르면, RSVRG는 저질서 행렬 복원 작업에서 기준 방법보다 상당히 더 빠르게 수렴한다.
• 노이즈가 많은 스위치 기울기에도 불구하고, 분산 감소 덕분에 안정성을 유지하고 진동을 방지한다.
• 이론적 분석을 통해 RSVRG의 수렴 속도가 표준 리만 스위치 기울기 방법보다 뛰어나다는 것이 확인된다.