[논문 리뷰] A Cubic Regularized Newton's Method over Riemannian Manifolds

Junyu Zhang, Shuzhong Zhang|arXiv (Cornell University)|2018. 05. 15.

Iterative Methods for Nonlinear Equations참고 문헌 27인용 수 13

한 줄 요약

이 논문은 매니폴드 상의 매끄러운 최적화를 위한 삼차 정규화 리만 뉴턴 방법(CRRN)을 제안하며, 당김 헤시안의 국소 리프시츠 연속성 조건 하에 두 번째 순서 $\epsilon$-정류점에 도달하기 위한 전역 반복 복잡도가 $\mathcal{O}(1/\epsilon^{3/2})$임을 확보한다. 이 방법은 뉴스터프의 유클리드 삼차 정규화를 리만 기하학적 환경으로 확장한 것으로, 명시적인 복잡도 경계와 추가 조건 하에서 초선형 수렴을 보이며, 스티펠 매니폴드에서의 수치 실험을 통해 검증된다.

ABSTRACT

In this paper we present a cubic regularized Newton's method to minimize a smooth function over a Riemannian manifold. The proposed algorithm is shown to reach a second-order $ε$-stationary point within $\mathcal{O}(1/ε^{\frac{3}{2}})$ iterations, under the condition that the pullbacks are locally Lipschitz continuous, a condition that is shown to be satisfied if the manifold is compact. Furthermore, we present a local superlinear convergence result under some additional conditions.

연구 동기 및 목표

• 리만 기하학적 최적화를 위한 제2순서 최적화 방법을 개발하여, 제1순서 방법보다 향상된 반복 복잡도로 제2순서 $\epsilon$-정류점으로 수렴함을 보장하고자 한다.
• 뉴스터프의 유클리드 삼차 정규화 프레임워크를 리만 매니폴드로 확장하여 유리한 수렴 속도를 유지하고자 한다.
• 당김 헤시안의 국소 리프시츠 연속성과 같은 온건한 정규성 조건 하에서 전역 반복 복잡도 경계를 수립하고자 한다.
• 스티펠 매니폴드에 대해 알고리즘 상수의 명시적 계산을 제공하여 실용적 구현을 가능하게 하고자 한다.
• 수치 실험을 통해 리만 기하학적 경사하강법과 신뢰영역 방법과의 성능을 비교하여 경쟁력을 입증하고자 한다.

제안 방법

• 각 반복에서 리만 헤시안과 경사하강을 사용하여 정규화된 하위문제를 해결하는 삼차 정규화 리만 뉴턴 방법(CRRN)을 제안한다.
• 유한성 유지의 목적으로 리트랙션 기반 프레임워크를 사용하며, 스티펠 매니폴드에서 이론적 분석을 위해 폴라 리트랙션을 사용한다.
• 고정 단계 크기 경사하강법을 사용한 하위문제 해법 전략을 도입하며, 리만 경사하강의 노름에 기반한 정지 기준을 설정한다.
• 당김 헤시안이 국소 리프시츠 연속적이라는 가정 하에 전역 반복 복잡도 $\mathcal{O}(1/\epsilon^{3/2})$를 유도한다.
• 추가 조건, 예를 들어 국소 로자셰비츠 부등식 또는 헤시안의 비특이성 조건 하에서 국소 초선형 수렴을 확립한다.
• 스티펠 매니폴드에 대해 명시적 상수를 계산하며, $L_H = 13.66G + 12.55\ell_f + 4\ell_H$ 및 $C_g = 1/8.62$를 포함하여 실용적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 삼차 정규화가 리만 최적화에 성공적으로 확장되어 제1순서 방법보다 빠른 수렴을 이룰 수 있는가?
• RQ2 온건한 정규성 조건 하에서 리만 매니폴드 상의 삼차 정규화 뉴턴 방법의 전역 반복 복잡도는 무엇인가?
• RQ3 헤시안에 추가적인 구조적 가정이 있을 경우, 이 방법은 국소 초선형 수렴을 달성하는가?
• RQ4 특정 매니폴드, 예를 들어 스티펠 매니폴드에 대해 알고리즘의 명시적 상수를 유도할 수 있는가?
• RQ5 실제로 리만 기하학적 경사하강법과 신뢰영역 방법과 비교하여 이 방법의 수렴 속도와 반복 횟수 측면에서 성능은 어떠한가?

주요 결과

• CRRN 방법은 제2순서 $\epsilon$-정류점에 도달하기 위한 전역 반복 복잡도 $\mathcal{O}(1/\epsilon^{3/2})$를 확보하며, 유클리드 경우에서 알려진 최상의 비율과 일치한다.
• 이 복잡도 경계는 당김 헤시안이 국소 리프시츠 연속적이라는 조건 하에서 성립하며, 이는 매니폴드가 컴act일 경우에 충족된다.
• 스티펠 매니폴드(또는 스티펠 매니폴드의 곱)의 경우, 당김 헤시안은 전역 리프시츠 연속적이며, 차원과 무관하게 명시적 상수 $L_H = 13.66G + 12.55\ell_f + 4\ell_H$를 갖는다.
• 국소 로자셰비츠 부등식 또는 리만 헤시안의 비특이성 조건 하에서 국소 초선형 수렴이 입증된다.
• 저차원 최대 컷 및 최대 수직 컷 문제에 대한 정수형 프로그래밍 문제에서의 수치 실험 결과, CRRN은 RGD 및 RTR를 능가하는 수렴 속도를 보이며, 리만 경사하강의 크기가 감소할수록 점점 더 빠른 성능을 보인다.
• 캘테크 패밀리 페이스북 네트워크에서의 두 예제는 CRRN이 국소 최소점으로 초선형으로 수렴하는 것을 보여주며, 이는 이론적 국소 수렴 속도를 확인한다.