[논문 리뷰] Optimization Techniques on Riemannian Manifolds

Steven T. Smith|arXiv (Cornell University)|2014. 07. 22.

Statistical and numerical algorithms인용 수 13

한 줄 요약

이 논문은 뉴턴의 방법과 공액 그래디언트 방법을 리만 다양체로 일반화하여 각각 이차수 및 초선형 수렴을 보여주는 리만 최적화 기법을 제안한다. 구면에서 레일리 몫에 적용된 뉴턴의 방법은 삼차수 수렴을 보이며, 레일리 몫 반복법은 효율적인 근사 방법으로서 대칭 행렬의 극단적 고유값을 계산하기 위한 새로운 알고리즘을 제공한다.

ABSTRACT

The techniques and analysis presented in this paper provide new methods to solve optimization problems posed on Riemannian manifolds. A new point of view is offered for the solution of constrained optimization problems. Some classical optimization techniques on Euclidean space are generalized to Riemannian manifolds. Several algorithms are presented and their convergence properties are analyzed employing the Riemannian structure of the manifold. Specifically, two apparently new algorithms, which can be thought of as Newton's method and the conjugate gradient method on Riemannian manifolds, are presented and shown to possess, respectively, quadratic and superlinear convergence. Examples of each method on certain Riemannian manifolds are given with the results of numerical experiments. Rayleigh's quotient defined on the sphere is one example. It is shown that Newton's method applied to this function converges cubically, and that the Rayleigh quotient iteration is an efficient approximation of Newton's method. The Riemannian version of the conjugate gradient method applied to this function gives a new algorithm for finding the eigenvectors corresponding to the extreme eigenvalues of a symmetric matrix. Another example arises from extremizing the function $\mathop{ m tr} Θ^{\scriptscriptstyle m T}QΘN$ on the special orthogonal group. In a similar example, it is shown that Newton's method applied to the sum of the squares of the off-diagonal entries of a symmetric matrix converges cubically.

연구 동기 및 목표

• 유구한 유클리드 공간에 통합하는 대신 리만 다양체의 구조를 활용하는 내재적 최적화 알고리즘을 개발하기 위해.
• 구면 및 리 군과 같은 비유클리드 공간에서의 제약 최적화 문제를 기하학적 및 대수적 구조를 활용하여 다루기 위해.
• 강하 내림, 뉴턴의 방법, 공액 그래디언트와 같은 고전적 최적화 방법을 리만 다양체로 일반화하여 증명 가능한 수렴 속도를 확보하기 위해.
• SO(n) 및 구면과 같은 다양체에서 고유값 문제와 행렬 최적화 작업을 해결하기 위한 효율적인 수치 알고리즘을 제공하기 위해.
• 리만 버전의 뉴턴의 방법과 공액 그래디언트 방법이 특정 문제에서 표준 방법보다 더 빠른 수렴을 달성할 수 있음을 보여주기 위해.

제안 방법

• 지수 사상과 공변 도함수를 사용하여 리만 다양체 위에서 뉴턴의 방법을 유도하고, 이차수 수렴이 증명됨.
• 벡터 운반과 폴락-리비에르 유형 업데이트를 사용하여 리만 공액 그래디언트 방법을 적용하여 초선형 수렴을 달성함.
• SO(n)과 구면에서 자연 리만 계량을 사용하여 지표선과 평행 운반을 행렬 지수와 삼각함수를 통해 정의함.
• SO(n)에서 강하 내림 및 공액 그래디언트 방법의 스텝 크기 선택에 브로켓의 추정치를 활용하여 수치적 안정성을 향상시킴.
• 미분방정식 해법에 비용이 많이 드는 것을 피하기 위해 행렬 대수를 사용하여 대칭 공간과 리 군에서 지표선과 평행 이동을 효율적으로 계산함.
• 공액 그래디언트 방법을 구면에서 적용하여 극단적 고유벡터를 계산하기 위한 새로운 알고리즘을 제안하고, S^20에서 수치적 구현을 수행함.

실험 결과

연구 질문

• RQ1 리만 다양체 위에서 뉴턴의 방법은 이차수 수렴을 달성할 수 있으며, 특정 문제에서 표준 방법보다 더 빠른 수렴을 보일 수 있는가?
• RQ2 리만 공액 그래디언트 방법은 초선형 수렴을 보이며, 구면에서 고유값 문제에 효과적으로 적용될 수 있는가?
• RQ3 레일리 몫 반복법은 구면에서 뉴턴의 방법에 대한 실용적인 근사치인가, 그리고 삼차수 수렴 속도를 유지하는가?
• RQ4 대칭 행렬의 대각성분 외의 제곱합에 대해 뉴턴의 방법을 적용하면 삼차수 수렴을 보이는 자바비 유사 알고리즘이 도출되는가?
• RQ5 SO(n)과 구면과 같은 다양체의 내재적 구조를 어떻게 활용하여 최적화 알고리즘의 계산 비용을 줄일 수 있는가?

주요 결과

• 구면에서 레일리 몫에 적용된 뉴턴의 방법은 표준적인 이차수 수렴보다 훨씬 더 빠른 삼차수 수렴을 보이며, 이는 놀라운 성능 향상을 의미함.
• 레일리 몫 반복법는 구면에서 뉴턴의 방법에 대한 효율적인 근사치로 밝혀졌으며, 삼차수 수렴 속도를 유지함.
• 구면에서 레일리 몫에 적용된 리만 공액 그래디언트 방법은 대칭 행렬의 극단적 고유벡터를 계산하기 위한 새로운 알고리즘을 생성함.
• SO(n)에서 tr(ΘᵀQΘN) 함수에 대해 뉴턴의 방법을 적용하면 삼차수 수렴을 보이며, 새로운 종류의 삼차수 수렴을 보이는 자바비 유사 알고리즘의 새로운 클래스를 도출함.
• S^20 및 SO(20)에서의 수치 실험은 이론적 수렴 속도를 확인하였으며, 공액 그래디언트 방법이 강하 내림보다 뛰어난 성능을 보임.
• 알고리즘의 반복당 비용은 단 한 번의 행렬-벡터 곱셈과 약 10n 번의 실수 연산으로 제한되어 희소 행렬에 매우 효율적임.