[논문 리뷰] Unconstrained optimisation on Riemannian manifolds

Tuyen Trung Truong|arXiv (Cornell University)|2020. 08. 25.

Stochastic Gradient Optimization Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 나시의 통합 정리와 국소 재구성 사상(리트랙션)을 사용하여 백트래킹 경사하강법과 뉴 Q-뉴턴 방법을 리만 다양체로 확장하며, 임의의 초매개변수에 대해 국소 최소점으로의 거의 확실 수렴 또는 무한대 발산을 증명한다. $C^3$ 모어스 함수이며 부분수준이 컴act인 경우, 수렴은 비퇴화 최소점으로 이루어지며 이차 수렴 속도를 보이며, 특정 군 구조 가정 하에 안장점은 전역적으로 피한다.

ABSTRACT

In this paper, we give explicit descriptions of versions of (Local-) Backtracking Gradient Descent and New Q-Newton's method to the Riemannian setting.Here are some easy to state consequences of results in this paper, where X is a general Riemannian manifold of finite dimension and $f:X ightarrow \mathbb{R}$ a $C^2$ function which is Morse (that is, all its critical points are non-degenerate). {\bf Theorem.} For random choices of the hyperparameters in the Riemanian Local Backtracking Gradient Descent algorithm and for random choices of the initial point $x_0$, the sequence $\{x_n\}$ constructed by the algorithm either (i) converges to a local minimum of $f$ or (ii) eventually leaves every compact subsets of $X$ (in other words, diverges to infinity on $X$). If $f$ has compact sublevels, then only the former alternative happens. The convergence rate is the same as in the classical paper by Armijo. {\bf Theorem.} Assume that $f$ is $C^3$. For random choices of the hyperparametes in the Riemannian New Q-Newton's method, if the sequence constructed by the algorithm converges, then the limit is a critical point of $f$. We have a local Stable-Center manifold theorem, near saddle points of $f$, for the dynamical system associated to the algorithm. If the limit point is a non-degenerate minimum point, then the rate of convergence is quadratic. If moreover $X$ is an open subset of a Lie group and the initial point $x_0$ is chosen randomly, then we can globally avoid saddle points. As an application, we propose a general method using Riemannian Backtracking GD to find minimum of a function on a bounded ball in a Euclidean space, and do explicit calculations for calculating the smallest eigenvalue of a symmetric square matrix.

연구 동기 및 목표

• 백트래킹 경사하강법과 뉴 Q-뉴턴 방법의 수렴성 및 안장점 피하기 결과를 유클리드 공간 및 바나흐 공간에서 일반적인 유한차원 리만 다양체로 일반화하는 것.
• 지역 기하학적 정보와 함수 정보만을 사용하여 리만 다양체 상의 반복 최적화에 대한 이론적 보장을 수립하는 것.
• 제약 최적화 문제와 특이 비용 함수에 대한 리만 최적화의 실용적 이점을 입증하는 것, 예를 들어 고유값 계산을 포함한다.
• 구면 등과 같은 컴팩트 리만 부분다양체 상의 제약 최적화 문제를 리만 방법을 통해 일반적이고 구현 가능한 프레임워크로 제공하는 것.

제안 방법

• 리만 리트랙션과 벡터 운반을 사용하여 국소 백트래킹 경사하강법과 뉴 Q-뉴턴 방법을 리만 다양체에 적응시킨다.
• 나시의 통합 정리를 적용하여 리만 다양체를 유클리드 공간에 등장적으로 매립함으로써 유클리드 설정에서의 수렴 결과를 이전할 수 있도록 한다.
• 좋은 국소 리트랙션을 사용하여 다양체 상에서 최적화 역학의 국소 일致성과 안정성을 확보한다.
• 약한 정규성 조건 하에서 임의의 초매개변수와 초기점을 사용하여 거의 확실 수렴 성질을 달성한다.
• 안장점 근처에서 안정 중심다양체 정리를 갖는 리만 버전의 뉴 Q-뉴턴 방법을 도입한다.
• 구체적인 계산이 가능한 이차형식과 고유값 문제를 포함하여 단위 구상에서 함수를 최소화하는 제약 문제에 이 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 백트래킹 경사하강법과 뉴 Q-뉴턴 방법의 수렴성 및 안장점 피하기 성질을 리만 다양체로 확장할 수 있는가?
• RQ2 일반적인 리만 다양체에서 임의의 초매개변수와 초기 조건 하에 비퇴화 최소점으로의 전역 수렴과 안장점 피하기를 보장할 수 있는가?
• RQ3 만약 다양체가 열린 리 군의 부분집합이고 초기점이 임의일 경우, 리만 뉴 Q-뉴턴 방법이 비퇴화 최소점 근처에서 이차 수렴 속도를 보이며 안장점을 전역적으로 피할 수 있는가?
• RQ4 제약 조건이 있거나 특이한 최적화 문제에서 리만 최적화가 기존 유클리드 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 리만 백트래킹 경사하강법을 사용하여 컴팩트 리만 다양체 상의 제약 최적화 문제를 일반적이고 구현 가능한 방법으로 해결할 수 있는가?

주요 결과

• 임의의 초매개변수와 초기점을 사용할 경우, 리만 국소 백트래킹 경사하강법은 국소 최소점으로 수렴하거나 무한대 방향으로 발산한다; 부분수준이 컴팩트한 경우, 국소 최소점으로의 수렴만 발생한다.
• 리만 국소 백트래킹 경사하강법의 수렴 속도는 유클리드 설정에서 아르미조의 고전적 속도와 일치한다.
• $C^3$ 모어스 함수의 경우, 리만 뉴 Q-뉴턴 방법은 수렴 시 임계점으로 수렴하며, 비퇴화 최소점에서 이차 수렴 속도를 보인다.
• 리만 뉴 Q-뉴턴 방법에 대해 안장점 근처에서 국소 안정 중심다양체 정리를 확립하여 역학의 이론적 분석을 가능하게 한다.
• 다양체가 리 군의 열린 부분집합이고 초기점이 임의일 경우, 리만 뉴 Q-뉴턴 방법은 안장점을 전역적으로 피한다.
• 실험 결과 리만 최적화가 제약 문제와 특이 함수에서 표준 경사하강법보다 뛰어난 성능을 보이며, 예를 들어 대칭 행렬의 최소 고유값을 구하기 위해 구상에서 최소화를 수행하는 데 성공한다.