[논문 리뷰] Fast stochastic optimization on Riemannian manifolds.

Hongyi Zhang, Sashank J. Reddi외 1명|arXiv (Cornell University)|2016. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 15

한 줄 요약

이 논문은 리만 다양체 위의 지선 평탄 함수들의 유한합에 대한 첫 번째 빠른 확률적 최적화 방법인 리만 SVRG를 소개한다. 볼록 및 비볼록 설정 모두에 비점근 수렴 보장을 제공하며, 수렴 속도는 다양체 곡률에 영향을 받는다. 이는 비볼록 리만 최적화에서 처음으로 이루어지는 분석이다.

ABSTRACT

We study optimization of finite sums of \emph{geodesically} smooth functions on Riemannian manifolds. Although variance reduction techniques for optimizing finite-sum problems have witnessed a huge surge of interest in recent years, all existing work is limited to vector space problems. We introduce \emph{Riemannian SVRG}, a new variance reduced Riemannian optimization method. We analyze this method for both geodesically smooth \emph{convex} and \emph{nonconvex} functions. Our analysis reveals that Riemannian SVRG comes with advantages of the usual SVRG method, but with factors depending on manifold curvature that influence its convergence. To the best of our knowledge, ours is the first \emph{fast} stochastic Riemannian method. Moreover, our work offers the first non-asymptotic complexity analysis for nonconvex Riemannian optimization (even for the batch setting). Our results have several implications; for instance, they offer a Riemannian perspective on variance reduced PCA, which promises a short, transparent convergence analysis.

연구 동기 및 목표

• 리만 다각체 문제, 특히 유한합 목표 함수에 대한 빠른 확률적 최적화 방법의 부족을 해결한다.
• 이전에 유클리드 공간에 국한되어 있던 분산 감소 기법을 리만 설정으로 확장하여 수렴 속도를 향상시킨다.
• 비볼록 리만 최적화에 대한 첫 번째 비점근 복잡도 분석을 제공한다. 배치 설정에서도 가능하다.
• 곡률에 의존하는 요소를 포함하여 지선 평탄 함수에 대해 리만 SVRG의 이론적 수렴 속도를 수립한다.
• 단순하고 투명한 수렴 분석을 제공하는 리만적 시각에서 분산 감소 주성분 분석(PCA)을 제안한다.

제안 방법

• 지선 평탄 함수의 유한합을 위한 리만 SVRG를 제안하며, 리만 다각체 위에서 정의된 빠른 확률적 최적화 알고리즘을 설계한다.
• 재타입(retraction)과 벡터 운반(vector transport)을 사용하여 유클리드가 아닌 도메인 제약 조건을 처리함으로써 SVRG 프레임워크를 리만 기하학에 적응시킨다.
• 지선 평탄성을 활용하여 확률적 기울기의 분산을 제한함으로써 곡률 인지 조건 하에서 수렴을 보장한다.
• 수렴 분석에 곡률에 의존하는 요소를 도입하여 다양체 기하학이 최적화 속도에 미치는 영향을 반영한다.
• 이중 루프 구조를 사용한다: 외부 루프는 전체 기울기 추정을 계산하고, 내부 루프는 제어 변수를 통한 분산 감소를 이용한 확률적 기울기를 사용한다.
• 기하학적 일관성을 유지하기 위해 지수 매핑과 평행 운반을 포함한 리만 도구를 사용하여 수렴을 분석한다.

실험 결과

연구 질문

• RQ1 유클리드 최적화에서 유래한 분산 감소 기법을 리만 다각체로 성공적으로 확장할 수 있는가? 유한합 문제에 대해 적용 가능한가?
• RQ2 지선 평탄한 볼록 및 비볼록 함수에 대해 리만 확률적 최적화의 비점근 수렴 속도는 무엇인가?
• RQ3 다양체 곡률은 리만 확률적 최적화 방법의 수렴 행동에 어떻게 영향을 미치는가?
• RQ4 리만 SVRG는 분산 감소 주성분 분석(PCA) 문제에 대해 투명하고 간결한 수렴 분석을 제공할 수 있는가?
• RQ5 배치 및 확률적 설정 모두에서 비볼록 리만 최적화에 대해 첫 번째 비점근 복잡도 경계를 설정할 수 있는가?

주요 결과

• 리만 SVRG는 빠른 확률적 리만 최적화 방법의 첫 번째 사례로, 표준 리만 확률적 기울기 하강법보다 향상된 수렴 성능을 달성한다.
• 볼록 및 비볼록 지선 평탄 함수 모두에 대해 비점근 수렴 속도를 달성하며, 속도는 다양체 곡률에 따라 달라진다.
• 수렴 분석을 통해 수렴 속도를 조절하는 곡률에 의존하는 요소를 규명하였으며, 기하학적 영향이 최적화 성능에 어떻게 작용하는지 정량화하였다.
• 이 프레임워크를 통해 리만적 시각에서 분산 감소 주성분 분석(PCA)에 대해 짧고 투명한 수렴 분석을 가능하게 하였다.
• 이 작업은 비볼록 리만 최적화에 대해 비점근 복잡도 분석을 처음으로 수립하였으며, 배치 설정일 경우에도 마찬가지로 적용 가능하여 이론적 격차를 메웠다.
• 이론적 결과는 리만 SVRG가 표준 SVRG의 장점을 그대로 유지하면서도 다양체의 내재 기하학에 적응함을 보여준다.