[논문 리뷰] Practical Accelerated Optimization on Riemannian Manifolds

Foivos Alimisis, Antonio Orvieto외 2명|arXiv (Cornell University)|2020. 02. 11.

Morphological variations and asymmetry인용 수 8

한 줄 요약

이 논문은 리만 다양체 위에서 지오데식 볼록 함수 및 약한 준-볼록 함수에 대해 가속화된 수렴을 달성하는 새로운 리만 강하 알고리즘을 제안한다. 새로운 추정 수열을 활용하여 수렴 속도가 다각체의 곡률에 의존함을 입증하였으며, 구면 및 양의 정부호 행렬에서 실증적으로 검증되었다.

ABSTRACT

We develop a new Riemannian descent algorithm with an accelerated rate of convergence. We focus on functions that are geodesically convex or weakly-quasi-convex, which are weaker function classes compared to prior work that has considered geodesically strongly convex functions. Our proof of convergence relies on a novel estimate sequence which allows to demonstrate the dependency of the convergence rate on the curvature of the manifold. We validate our theoretical results empirically on several optimization problems defined on a sphere and on the manifold of positive definite matrices.

연구 동기 및 목표

• 기존 연구보다 더 넓은 함수 클래스에 대해 실용적인 리만 최적화 알고리즘을 개발하여 가속화된 수렴을 달성하는 것.
• 지오데식 강한 볼록 함수를 초월하여 지오데식 볼록 함수 및 약한 준-볼록 함수로의 수렴 보장을 확장하는 것.
• 이론적으로 수렴 속도와 기저 리만 다각체의 곡률 간의 연결 고리를 설정하는 것.
• 구면 및 양의 정부호 행렬을 포함한 리만 최적화 문제에서 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• 더 약한 볼록성 가정 하에서 수렴을 분석하기 위해 리만 최적화에 특화된 새로운 추정 수열 기법을 도입한다.
• 수렴 경계를 더욱 날카롭게 하기 위해 추정 수열 프레임워크를 리만 다각체의 곡률를 고려하도록 수정한다.
• 다양체의 단면 곡률에 명시적으로 의존하는 수렴 속도를 유도하며, 이는 이전 결과를 일반화한다.
• 표준 리만 최적화 도구를 사용하여 구면 및 양의 정부호 행렬 위의 최적화 문제에 알고리즘을 적용한다.
• 반복 과정에서 수치적 안정성과 다각체 일관성을 확보하기 위해 리트랙 및 벡터 운반 연산을 활용한다.
• 추정 수열을 사용하여 각 반복 단계에서 목적 함수 값의 감소를 경계함으로써 가속화된 수렴을 이룬다.

실험 결과

연구 질문

• RQ1 지오데식 볼록 또는 약한 준-볼록 함수에 대해, 강한 볼록 함수가 아닐 경우에도 리만 다각체에서 가속화된 수렴을 달성할 수 있는가?
• RQ2 리만 다각체의 곡률이 제안된 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 다양체의 기하학적 구조를 고려하면서도 가속화를 보장할 수 있는 새로운 추정 수열 프레임워크를 설계할 수 있는가?
• RQ4 비유클리드 도메인에서 표준 리만 강하보다 제안된 방법이 실질적으로 우수한 성능을 보이는가?
• RQ5 구면 및 양의 정부호 행렬과 같은 표준 다각체에서 알고리즘의 실증 성능은 어떠한가?

주요 결과

• 제안된 알고리즘은 리만 다각체 위의 지오데식 볼록 및 약한 준-볼록 함수에 대해 가속화된 수렴 속도를 달성한다.
• 수렴 속도는 다각체의 단면 곡률에 명시적으로 의존하며, 비양의 곡률 영역에서는 더 날카운 수렴 경계를 제공한다.
• 새로운 추정 수열 기법은 다각체 위에서 강한 볼록이 아닌 설정으로도 일반화되어 가속화된 수렴을 가능하게 한다.
• 실증 결과는 구면 및 양의 정부호 행렬에서 이론적 수렴 속도가 정확히 유지됨을 확인한다.
• 시험된 최적화 문제에서 표준 리만 강하보다 알고리즘이 더 빠른 수렴을 보였다.
• 비틀림이 있는 곡률을 가진 다양한 다각체 기하학에서도 알고리즘은 안정성과 효율성을 유지한다.