[논문 리뷰] Global Riemannian Acceleration in Hyperbolic and Spherical Spaces

David Martínez-Rubio|arXiv (Cornell University)|2020. 12. 07.

Geometric Analysis and Curvature Flows인용 수 1

한 줄 요약

이 논문은 초구형 및 쌍곡 기하 공간에서 $L$-연속이고 지측적으로 볼록하거나 강하게 지측적으로 볼록한 함수에 대해, 유일한 글로벌로 가속화된 1차 최적화 방법을 제안하며, 로그 및 곡률에 의존하는 요소를 제외하고 유클리드 공간에서 네스테로프의 가속화된 경사하강법과 동일한 수렴 속도를 달성한다. 이 방법은 제약 조건이 붙은 비볼록 유클리드 문제로의 새로운 환원을 활용하며, 초기 거리 $R$와 곡률 $K$에 명시적인 의존성을 확보하여 글로벌 수렴을 확립한다. 주요 기여는 비유클리드 리만다이언 맨포ลด에서 증명 가능한 글로벌 가속화를 달성한 것으로, 오랫동안 미해결된 리만다이언 최적화 분야의 열린 질문을 해결한다.

ABSTRACT

We further research on the accelerated optimization phenomenon on Riemannian manifolds by introducing accelerated global first-order methods for the optimization of $L$-smooth and geodesically convex (g-convex) or $\mu$-strongly g-convex functions defined on the hyperbolic space or a subset of the sphere. For a manifold other than the Euclidean space, these are the first methods to \emph{globally} achieve the same rates as accelerated gradient descent in the Euclidean space with respect to $L$ and $\epsilon$ (and $\mu$ if it applies), up to log factors. Due to the geometric deformations, our rates have an extra factor, depending on the initial distance $R$ to a minimizer and the curvature $K$, with respect to Euclidean accelerated algorithms As a proxy for our solution, we solve a constrained non-convex Euclidean problem, under a condition between convexity and \emph{quasar-convexity}, of independent interest. Additionally, for any Riemannian manifold of bounded sectional curvature, we provide reductions from optimization methods for smooth and g-convex functions to methods for smooth and strongly g-convex functions and vice versa. We also reduce global optimization to optimization over bounded balls where the effect of the curvature is reduced.

연구 동기 및 목표

• 초구형 및 쌍곡 기하 공간에서의 글로벌로 가속화된 1차 최적화를 수립하여, 이전에는 局부 영역을 초월해 가속화가 이루어지지 않았던 문제를 해결한다.
• 리만다이언 1차 최적화 방법이 유클리드 공간에서 네스테로프의 가속화된 경사하강법과 동일한 수렴 속도를 달성할 수 있는지 여부라는 열린 질문을 해결한다.
• 구역 곡률이 유계인 기하 공간에서 지측적으로 볼록 함수와 강하게 지측적으로 볼록 함수 간의 최적화 방법을 상호 변환할 수 있는 환원 프레임워크를 제공한다.
• 곡률에 의한 왜곡을 최소화하기 위해 곡률이 있는 기하 공간에서의 글로벌 최적화를 유계 반경의 구역에서의 최적화로 환원한다.

제안 방법

• 기하 공간의 리만다이언 문제를 제약 조건이 있는 비볼록 유클리드 최적화 문제로 매핑함으로써, 쌍곡 기하 공간과 초구 기하 공간에서 글로벌 가속화를 달성하는 새로운 알고리즘 프레임워크를 제안한다. 이는 볼록성과 쿼사-볼록성 사이의 조건을 포함한다.
• 무한한 기하 공간에서의 최적화를 유계 반경의 리만다이언 구역에서의 최적화로 변환하는 환원 기법을 활용하여, 곡률이 수렴 속도에 미치는 영향을 줄인다.
• 특히 쌍곡 기하 공간에서 리만다이언 곡률과 목적 함수의 조건수 사이의 관계를 기반으로 하는 기하 레마를 활용한 새로운 증명 전략을 개발한다.
• 리만다이언 경사하강법(RGD)과 국소 가속화 방법을 융합한 하이브리드 전략을 사용하여, 최악의 경우 수렴 속도가 최고의 알려진 가속화 경계와 일치하도록 한다.
• 쌍곡 기하 공간에서 강하게 지측적으로 볼록한 함수의 조건수를 정교하게 분석하여, 이 값이 최소 $\Omega(R)$여야 함을 보이며, 이는 수렴 속도 경계의 정보를 제공한다.
• 구역 곡률이 유계인 임의의 리만다이언 기하 공간에 대해 일반적인 환원 프레임워크를 제공하여, 지측적으로 볼록 함수와 강하게 지측적으로 볼록한 함수 간의 상호 변환을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비유클리드 기하 공간인 쌍곡 기하 공간과 초구 기하 공간에서 리만다이언 1차 최적화 방법이 유클리드 공간에서 네스테로프의 가속화된 경사하강법과 동일한 글로벌 수렴 속도를 달성할 수 있는가?
• RQ2 곡률과 최소점까지의 초기 거리가 리만다이언 최적화에서 가속화를 제한하거나 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 강하게 지측적으로 볼록한 함수가 아닌, 매끄럽고 지측적으로 볼록한 함수에 대해서도 곡률이 있는 기하 공간에서 글로벌 가속화가 달성될 수 있는가?
• RQ4 특히 유계 반경의 구역 환원을 통해 곡률 기반 기하 복잡성을 어떻게 줄일 수 있는가?
• RQ5 리만다이언 최적화에서 가속화의 기본 한계는 무엇이며, 최근의 하한 경계는 네스테로프 유사 수렴 속도를 달성하는 데의 가능성을 어떻게 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 로그 요소와 곡률 $K$ 및 초기 거리 $R$에 따라 변하는 상수 요소를 제외하고 유클리드 공간에서 네스테로프의 가속화된 경사하강법과 동일한 글로벌 수렴 속도를 달성한다.
• 쌍곡 기하 공간에서 $\mu$-강하게 지측적으로 볼록한 함수의 경우, 수렴 속도는 $\widetilde{O}\left(\sqrt{\frac{L}{\mu}} \log \frac{1}{\varepsilon}\right)$이며, 이는 로그 및 $R$-의존 요소를 제외하고 유클리드 가속화 속도와 일치한다.
• 논문은 쌍곡 기하 공간에서 곡률 $K = -1$인 $L$-연속이고 $\mu$-강하게 지측적으로 볼록한 함수의 조건수 $\kappa = L/\mu$가 최소 $\Omega(R)$여야 함을 입증하며, 최적의 경우 $R \cot(R)$에 해당하는 날카로운 경계와 일치함을 보였다.
• 기하 공간에서의 글로벌 최적화를 유계 반경의 리만다이언 구역에서의 순차적 최적화로 변환하는 새로운 환원 기법을 개발하여 곡률의 영향을 크게 줄였다.
• RGD와 국소 가속화 방법을 융합한 하이브리드 알고리즘을 제시하여 최악의 경우 수렴 속도가 $\widetilde{O}\left(\frac{L}{\mu} + \sqrt{\frac{L}{\mu}} \log \frac{1}{\varepsilon}\right)$로, 최고의 알려진 가속화 경계와 일치함을 입증하였다.
• 기하학적 특성이 $R$-의존 항을 유도하지만, $R$가 고정되어 있거나 $\varepsilon$가 충분히 작을 경우에도 여전히 가속화된 속도를 달성할 수 있음을 보여, 쌍곡 기하 공간에서의 가속화가 불가능하다는 주장에 반박하였다.