[논문 리뷰] Riemannian Interior Point Methods for Constrained Optimization on Manifolds

Zhijian Lai, Akiko Yoshise|arXiv (Cornell University)|2022. 03. 18.

Advanced Numerical Analysis Techniques인용 수 7

한 줄 요약

이 논문은 리만다이안 다각형에서 제약 조건이 있는 최적화 문제를 해결하기 위한 새로운 원시-쌍대 내점 프레임워크인 리만다이안 내점법(RIPM)을 소개한다. 표준 가정 하에 국소적으로 초선형 및 이차 수렴성을 확립하고, 선 탐색을 통한 전역 수렴성을 보이며, 기존의 리만다이안 방법들과 비교해 수치 실험에서 뛰어난 안정성과 정확성을 보인다.

ABSTRACT

We extend the classical primal-dual interior point method from the Euclidean setting to the Riemannian one. Our method, named the Riemannian interior point method, is for solving Riemannian constrained optimization problems. We establish its local superlinear and quadratic convergence under the standard assumptions. Moreover, we show its global convergence when it is combined with a classical line search. Our method is a generalization of the classical framework of primal-dual interior point methods for nonlinear nonconvex programming. Numerical experiments show the stability and efficiency of our method.

연구 동기 및 목표

• 유계 공간에서의 원시-쌍대 내점 방법을 리만다이안 다양체로 확장하여 비볼록 제약 최적화 문제를 해결하기 위해.
• 리만다이안 환경에서 내점 방법의 이론적 기초를 확립하기 위해, KKT 벡터장과 그의 공변미분을 포함하여.
• 표준 가정 하에 제안된 방법의 국소적 및 전역적 수렴성을 보장하기 위해.
• 어려운 리만다이안 최적화 문제에 대한 수치 실험을 통해 이의 효율성과 안정성을 입증하기 위해.
• 등식 제약 조건이 다양체를 정의하는 문제에 일반적으로 적용 가능한 프레임워크를 제공하여, 유클리드 방법 대비 계산 차원을 감소시키기 위해.

제안 방법

• 부드럽고 완전한 리만다이안 다양체 위에서 제약 최적화 문제를 해결하기 위한 리만다이안 원시-쌍대 내점법(RIPM)을 제안한다.
• 최적성 조건을 일반화하기 위해 다양체 위에서 KKT 벡터장과 그의 공변미분을 정의한다.
• 등식 제약 조건이 부분다양체를 정의할 경우, 탄성공간에서 압축된 변형 뉴턴 방정식을 푸는 방식으로 차원을 감소시킨다.
• 대규모 설정에서 압축된 뉴턴 시스템을 효율적으로 풀기 위해 크릴로프 부분공간 방법을 활용한다.
• 전역 수렴성을 보장하기 위해 전통적인 선 탐색 전략을 도입한다.
• 다양체 특화 미분기하학 도구를 활용하여 고전적 원시-쌍대 프레임워크를 리만다이안 기하학에 적응시킨다.

실험 결과

연구 질문

• RQ1 원시-쌍대 내점 방법은 비볼록 제약 최적화 문제에 대해 리만다이안 다양체 위로 일반화될 수 있는가?
• RQ2 리만다이안 환경에서 국소적인 초선형 및 이차 수렴성을 보장하기 위해 필요한 기하학적 및 분석적 조건는 무엇인가?
• RQ3 리만다이안 내점법은 기존의 리만다이안 알고리즘(예: 증강 라그랑주법 및 순차적 이차계획법)과 비교해 안정성과 정확성 면에서 어떻게 다를까?
• RQ4 등식 제약 조건의 다양체적 구조를 활용함으로써 계산 복잡도를 감소시킬 수 있는가?
• RQ5 현대 내점 방법을 리만다이안 기하학에 적응시키는 데서 발생하는 이론적 및 수치적 과제는 무엇인가?

주요 결과

• 표준 가정 하에 리만다이안 내점법은 국소적으로 초선형 및 이차 수렴성을 확보하며, 고전적 수렴 결과를 리만다이안 환경으로 확장한다.
• 전통적인 선 탐색과 조합함으로써 전역 수렴성이 확립되어 실무에서의 강건성을 보장한다.
• 수치 실험 결과, RIPM는 특히 비볼록 문제에서 기존의 리만다이안 방법들보다 안정성과 정확성 면에서 뛰어나게 성능을 발휘한다.
• 등식 제약 조건의 다양체적 구조를 활용함으로써 뉴턴 시스템의 차원을 감소시켜 계산적 효율성을 높인다.
• 유계 공간 내점 방법이 실패하는 문제, 예를 들어 비음성 제약 조건이 있는 낮은 질량 행렬 근사 문제 등에도 적용 가능하다.
• 이 방법은 일반적이며, 스티펠 및 고정 질량 다양체를 포함한 다양한 다양체에 적용 가능하며, 지오데식 볼록성의 필요 없이도 적용 가능하다.