[논문 리뷰] Momentum Improves Optimization on Riemannian Manifolds

Foivos Alimisis, Antonio Orvieto외 2명|arXiv (Cornell University)|2020. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 9

한 줄 요약

이 논문은 국부적 볼록 함수 및 약한 준-볼록 함수에 대해 유한 곡률을 갖는 다양체 위에서 가속화된 수렴을 달성하는 모멘타ム 기반 리만 최적화 알고리즘을 제안한다. 다양체 곡률을 고려한 새로운 추정 수열을 도입함으로써, 이 방법은 worst-case 수렴 속도에서 리만 기울기 하강법(RGD)을 능가하며, 구면과 양의 정부호 행렬에서의 실험적으로도 뛰어난 성능을 보이며, 특히 초기 반복 단계에서 두각된다.

ABSTRACT

We develop a new Riemannian descent algorithm that relies on momentum to improve over existing first-order methods for geodesically convex optimization. In contrast, accelerated convergence rates proved in prior work have only been shown to hold for geodesically strongly-convex objective functions. We further extend our algorithm to geodesically weakly-quasi-convex objectives. Our proofs of convergence rely on a novel estimate sequence that illustrates the dependency of the convergence rate on the curvature of the manifold. We validate our theoretical results empirically on several optimization problems defined on the sphere and on the manifold of positive definite matrices.

연구 동기 및 목표

• 지오데식 볼록 목표 함수를 위한 모멘타ム을 활용한 리만 1차 최적화 방법을 개발한다.
• 강한 볼록 함수를 넘어서 더 넓은 범주인 지오데식 볼록 및 약한 준-볼록 함수로 모멘타ム 기반 가속화를 확장한다.
• 다양체 곡률을 고려한 이론적 수렴 보장을 제공하여 기존 리만 기울기 하강법(RGD)의 경계를 향상시킨다.
• 양의 곡률과 음의 곡률을 포함한 문제들, 즉 카르커 평균과 연산자 스케일링에서 알고리즘을 실증적으로 검증한다.
• 강한 볼록성이 약하거나 존재하지 않을 경우에도 RGD 및 RAGD보다 더 빠른 초반 수렴을 달성함을 보여준다.

제안 방법

• 알고리즘은 AGD-SDR(Nesterov 등, 2018)의 영감을 받아, 적응형 선형 결합을 수행하기 위해 소형 차원의 완화(orac) sDR을 사용한다.
• Nesterov 등(2018)과 Zhang & Sra(2018)의 기법을 결합하여 곡률에 의존하는 항을 포함하는 새로운 추정 수열을 구성한다.
• 알고리즘은 국부적 볼록성 하에서 이론적 수렴을 보장하기 위해 유한 곡률을 갖는 리만 다양체 위에서 작동한다.
• 매 반복 단계에서 모멘타ム 파라미터 βk를 적응적으로 선택하기 위해 지오데식 탐색을 활용하여 동적 가속화를 실현한다.
• 이론적 분석은 다양체 기하학을 반영하는 곡률 인식 추정 수열에 기반하며, 오차 감쇠 속도를 다양체 기하학의 용어로 제한한다.
• 알고리즘은 실용적이고 계산적으로 효율적이며, 선형 시간 내에 sDR 오라클의 근사 해를 사용한다.

실험 결과

연구 질문

• RQ1 리만 다양체 위에서 강한 볼록성이 아닌 지오데식 볼록 함수에 대해 모멘타ム 기반 가속화를 엄밀하게 확장할 수 있는가?
• RQ2 기저가 되는 다양체의 곡률이 모멘타ム 기반 리만 최적화의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 강한 볼록성이 없는 목표 함수에 대해 모멘타ム과 다양체 기하학의 상호작용을 포괄하는 새로운 추정 수열을 구성할 수 있는가?
• RQ4 제안된 알고리즘이 실질적으로 RGD 및 RAGD를 능가하는가, 특히 강한 볼록성이 약하거나 존재하지 않을 경우에?
• RQ5 작업 도메인 크기가 모멘타ム 기반 방법의 이론적 수렴 보장에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 작업 도메인이 지나치게 크지 않은 한, 지오데식 볼록 함수에 대해 리만 기울기 하강법(RGD)보다 더 빠른 worst-case 수렴 속도를 달성한다.
• 곡률 및 도메인 크기 제약 조건 하에 작업 도메인이 d(M) ≈ 0.012가 되도록 유한하게 제한된 경우, 알고리즘은 최소 166회 반복 동안 가속화된다.
• 실증 결과에 따르면, 강한 볼록성 상수 μ = 1이 작은 경우에도 카르커 평균 문제에서 RGD 및 RAGD보다 빠른 수렴을 보인다.
• 연산자 스케일링 문제에서는 하향선형 수렴 속도를 달성하지만 RGD보다 더 빠르며, 알려진 복잡도 경계와 일치한다.
• 수렴 속도의 오차 항은 O(d(M)/k)로 감쇠되며, 완전한 가속화는 아니지만 초기 단계의 가속화 덕분에 실용적으로 무시할 수 있을 정도로 작다.
• 양의 곡률(구면)과 음의 곡률(양의 정부호 행렬) 다양체 모두에서 알고리즘은 강건성과 더 빠른 초반 수렴을 보여준다.