[논문 리뷰] Riemannian stochastic variance reduced gradient

Hiroyuki Sato, Hiroyuki Kasai외 1명|arXiv (Cornell University)|2017. 02. 18.

Topological and Geometric Data Analysis인용 수 19

한 줄 요약

이 논문은 리만 다양체 구조 최적화에 SVRG를 확장하기 위해 재타입(retraction)과 벡터 운반(vector transport)을 활용하여 비유클리드 공간에서의 기울기 연산을 처리하는 리만 스위치 분산 감소 기울기 알고리즘 R-SVRG를 제안한다. 감소하는 단계 크기로 전역 수렴을 달성하고 고정된 단계 크기로 국소 초선형 수렴을 보이며, 중심점 계산, 주성분 분석, 저질서 행렬 복원과 같은 문제에서 리만 스위치 기울기 하강법(RSGD)보다 뛰어난 성능을 발휘한다.

ABSTRACT

In recent years, stochastic variance reduction algorithms have attracted considerable attention for minimizing the average of a large but finite number of loss functions. This paper proposes a novel Riemannian extension of the Euclidean stochastic variance reduced gradient (R-SVRG) algorithm to a manifold search space. The key challenges of averaging, adding, and subtracting multiple gradients are addressed with retraction and vector transport. For the proposed algorithm, we present a global convergence analysis with a decaying step size as well as a local convergence rate analysis with a fixed step size under some natural assumptions. In addition, the proposed algorithm is applied to the computation problem of the Riemannian centroid on the symmetric positive definite (SPD) manifold as well as the principal component analysis and low-rank matrix completion problems on the Grassmann manifold. The results show that the proposed algorithm outperforms the standard Riemannian stochastic gradient descent algorithm in each case.

연구 동기 및 목표

• 표준 유클리드 연산인 평균과 벡터 덧셈이 적용되지 않는 리만 다각형 최적화에 분산 감소 기법을 적용하는 데 도전하는 것.
• 유럽 공간에서의 SVRG의 수렴 우수성을 유지하면서도 다각형의 기하학적 구조에 적응하는 스위치 최적화 알고리즘을 개발하는 것.
• 다양체와 목적 함수에 대한 자연스러운 가정 하에 제안된 알고리즘의 전역 및 국소 수렴 보장을 수립하는 것.
• 대칭 양의 정부호 및 그라스만 다각형에서 실세계 문제에 대해 표준 리만 스위치 기울기 하강법보다 R-SVRG가 실용적으로 뛰어나다는 것을 보여주는 것.

제안 방법

• 유럽 SVRG 프레임워크를 리만 다각형으로 확장하기 위해 재타입을 사용해 근사 지수 매핑을, 벡터 운반을 사용해 기울기의 평행 운반을 수행함으로써 유클리드 연산을 리만 대응 연산으로 대체함.
• 기울기 차분은 리만 연산을 사용해 계산하고 업데이트함으로써 각 반복에서 전체 기울기 계산이 필요 없이도 분산 감소를 유지함.
• 감소하는 단계 크기로 표준 목적 함수 및 다각형 기하학에 대한 가정 하에 임계점으로의 전역 수렴 보장.
• 고정된 단계 크기로 리만 다각형에서 헤시안의 리만드 연속성 등의 추가 정규성 조건 하에 국소 선형 수렴 보장.
• 이 방법은 대칭 양의 정부호( SPD ) 다각형(중심점 계산용)과 그라스만 다각형(주성분 분석 및 저질서 행렬 복원용)에 적용됨.
• SPD 행렬과 그라스만 부분공간의 기하학에 맞게 다각형 특화된 재타입 및 벡터 운반 연산자 사용.

실험 결과

연구 질문

• RQ1 표준 벡터 연산이 정의되지 않는 리만 다각형 최적화에 대해 유클리드 최적화에서의 분산 감소 기법을 효과적으로 확장할 수 있는가?
• RQ2 재타입과 벡터 운반은 리만 다각형에서 SVRG의 평균 및 기울기 빼기 연산을 어떻게 대체할 수 있는가?
• RQ3 자연스러운 기하학적 가정 하에 제안된 리만 SVRG 알고리즘의 전역 및 국소 수렴 보장을 어떻게 확보할 수 있는가?
• RQ4 실제 리만 다각형 학습 과제에서 R-SVRG는 표준 리만 스위치 기울기 하강법보다 뛰어나게 성능을 발휘하는가?

주요 결과

• 감소하는 단계 크기로 표준 가정 하에 R-SVRG는 다각형 상의 임계점으로의 전역 수렴을 달성함.
• 고정된 단계 크기로 추가 정규성 조건(다각형에서 헤시안의 리만드 연속성 등) 하에 국소 선형 수렴을 보이며, 최적 해 근처에서 더 빠른 수렴을 나타냄.
• 대칭 양의 정부호 다각형에서 R-SVRG는 리만 중심점 계산에서 RSGD보다 뚜렷이 뛰어난 성능을 보임.
• 그라스만 다각형에서 주성분 분석에 대해 R-SVRG는 RSGD보다 더 빠르고 안정적인 수렴을 보임.
• 그라스만 다각형에서의 저질서 행렬 복원 과제에서 R-SVRG는 RSGD보다 더 빠른 수렴 속도와 정확도를 확보함.
• 재타입과 벡터 운반의 사용으로 전체 기울기 평가가 필요 없이 효과적인 분산 감소를 달성하여 계산 오버헤드를 감소시킴.