[논문 리뷰] Semi-Riemannian Manifold Optimization

Tingran Gao, Lek‐Heng Lim외 1명|arXiv (Cornell University)|2018. 12. 18.

Advanced Numerical Analysis Techniques참고 문헌 28인용 수 5

한 줄 요약

이 논문은 비정규적 계량을 允許하는 반-리만 다양체 위에서의 최적화 프레임워크를 제안하며, 리만 다양체 최적화를 확장하여 부정적 계량을 허용한다. 반-리만 기하학을 활용하여 경사 하강법과 켤레 기울기 알고리즘을 수립하였으며, 다양한 계량 서명에서 수렴성을 유지한다. 수치 실험을 통해 계량에 독립적인 수렴 행동과 선형 수렴 속도를 입증하였다. 이는 편의 구면과 민코프스키 공간에서의 결과이다.

ABSTRACT

We introduce in this paper a manifold optimization framework that utilizes semi-Riemannian structures on the underlying smooth manifolds. Unlike in Riemannian geometry, where each tangent space is equipped with a positive definite inner product, a semi-Riemannian manifold allows the metric tensor to be indefinite on each tangent space, i.e., possessing both positive and negative definite subspaces; differential geometric objects such as geodesics and parallel-transport can be defined on non-degenerate semi-Riemannian manifolds as well, and can be carefully leveraged to adapt Riemannian optimization algorithms to the semi-Riemannian setting. In particular, we discuss the metric independence of manifold optimization algorithms, and illustrate that the weaker but more general semi-Riemannian geometry often suffices for the purpose of optimizing smooth functions on smooth manifolds in practice.

연구 동기 및 목표

• 반-리만 기하학을 통해 부정적 계량을 수용할 수 있는 리만 다양체 최적화의 일반화를 개발하는 것.
• 양의 정부호 리만 계량이 필요로 하는 것보다 더 약한 반-리만 구조에서도 최적화 알고리즘이 효과적이고 수렴하는지 조사하는 것.
• 기본적인 최적화 알고리즘인 경사 하강법과 켤레 기울기의 반-리만 해석을 수립하는 것.
• 최적화 알고리즘의 계량 독립성과 다양한 반-리만 구조에서의 이차 방법의 실현 가능성을 확립하는 것.
• 비볼록 최적화에 대한 이론적이고 알고리즘적 기반을 마련하여 내부점 방법과 정보 기하학과 관련된 문제를 다루는 것.

제안 방법

• 계량이 부정적일 경우에도 내림방향을 보장하기 위해 반-리만 기울기의 수정을 제안한다.
• 민코프스키 공간 내의 편의 구면과 편의하중공간에서 반-리만 기하선의 닫힌 형태 표현식을 사용하여 재구성 맵을 정의한다.
• 리만 최적화 알고리즘—경사 하강법과 켤레 기울기—을 비퇴화된 반-리만 계량으로 대체함으로써 수정한다.
• 뉴턴 방법과 신뢰 영역 방법이 다양한 반-리만 계량에 대해 불변임을 활용하여, 계량 선택에 대한 강건성을 입증한다.
• 비퇴화된 반-리만 부분다양체인 편의 구면과 편의하중공간을 구성하기 위해 민코프스키 공간 $\mathbb{R}^{p,q}$ 를 기본 공간으로 사용한다.
• 민코프스키 공간 $\mathbb{R}^{p,q}$ 에서의 $\mathbb{S}^{p,q}$ 와 단위 구면에서의 임의의 최적화 문제 인스턴스에 대한 수치 실험을 통해 수렴성과 수렴 속도 행동을 검증한다.

실험 결과

연구 질문

• RQ1 최적화 알고리즘이 리만 계량을 초월하여 부정적 계량을 포함하는 반-리만 구조로 효과적으로 일반화될 수 있는가?
• RQ2 다양한 반-리만 계량 서명에서 일阶 최적화 알고리즘의 수렴성이 보장되는가?
• RQ3 동일한 기저 다양체 위에서 다양한 반-리만 구조에서 경사 하강법과 켤레 기울기 방법의 수렴 속도는 어떻게 달라지는가?
• RQ4 뉴턴 방법과 신뢰 영역 방법과 같은 이차 방법이 반-리만 계량의 변화에 대해 어느 정도 불변하는가?
• RQ5 반-리만 기하학이 비볼록 설정에서 내부점 방법과 자연 기울기 강하법을 이해하는 기하학적 프레임워크를 제공할 수 있는가?

주요 결과

• 비퇴화된 민코프스키 공간의 반-리만 부분다양체 위에서 반-리만 경사 하강법과 켤레 기울기 알고리즘이 계량 서명과 관계없이 전역적으로 수렴한다.
• 수렴 속도는 반-리만 구조에 따라 달라지며, 수치 실험에서 리만 사례($p=0$, $q=10$)에서 가장 빠른 수렴 속도를 보였다.
• 민코프스키 공간 $\mathbb{R}^{3,12}$ 내의 단위 편의 구면 $\mathbb{S}^{3,12}$ 에서 반-리만 경사 하강법과 켤레 기울기 알고리즘 모두 선형 수렴을 관찰하였다.
• 뉴턴 방법과 신뢰 영역 방법과 같은 이차 방법은 다양한 반-리만 계량에 대해 불변이며, 이는 그들의 계량 독립성을 확인한다.
• 제안된 프레임워크는 표준 비제약 유계 유클리드 최적화와 리만 다양체 최적화를 특수 케이스로 포함하며, 더 넓은 기하학적 배경에서 통합한다.
• 수치 결과는 반-리만 기하선이 편의 구면에서 최적화를 위한 유효하고 계산적으로 효율적인 재구성 맵을 제공함을 확인하였으며, 실용적 알고리즘 구현을 가능하게 한다.