[논문 리뷰] Geodesic Convex Optimization: Differentiation on Manifolds, Geodesics, and Convexity

Nisheeth K. Vishnoi|arXiv (Cornell University)|2018. 06. 17.

Point processes and geometric inequalities참고 문헌 13인용 수 38

한 줄 요약

이 논문은 리만 다양체 위에서 비볼록 문제를 재구성하기 위한 프레임워크로 지오데식 볼록 최적화를 소개한다. 이는 곡면에서 직선을 일반화하는 지오데식을 사용해 볼록성의 정의를 재정의함으로써 이루어진다. 연구는 리만 메트릭이 적절히 설정된 경우 브라스앰프-라이브 상수와 연산자 용량 함수가 지오데식 볼록성이 됨을 입증하며, 이를 통해 지오데식 강하 방법을 활용한 효율적인 최적화를 가능하게 한다.

ABSTRACT

Convex optimization is a vibrant and successful area due to the existence of a variety of efficient algorithms that leverage the rich structure provided by convexity. Convexity of a smooth set or a function in a Euclidean space is defined by how it interacts with the standard differential structure in this space -- the Hessian of a convex function has to be positive semi-definite everywhere. However, in recent years, there is a growing demand to understand non-convexity and develop computational methods to optimize non-convex functions. Intriguingly, there is a type of non-convexity that disappears once one introduces a suitable differentiable structure and redefines convexity with respect to the straight lines, or {\em geodesics}, with respect to this structure. Such convexity is referred to as {\em geodesic convexity}. Interest in studying it arises due to recent reformulations of some non-convex problems as geodesically convex optimization problems over geodesically convex sets. Geodesics on manifolds have been extensively studied in various branches of Mathematics and Physics. However, unlike convex optimization, understanding geodesics and geodesic convexity from a computational point of view largely remains a mystery. The goal of this exposition is to introduce the first part of geodesic convex optimization -- geodesic convexity -- in a self-contained manner. We first present a variety of notions from differential and Riemannian geometry such as differentiation on manifolds, geodesics, and then introduce geodesic convexity. We conclude by showing that certain non-convex optimization problems such as computing the Brascamp-Lieb constant and the operator scaling problem have geodesically convex formulations.

연구 동기 및 목표

• 비볼록 최적화 문제를 리만 다양체 위에서 지오데식을 사용해 볼록성의 정의를 재정의함으로써 계산 프레임워크를 개발하는 것.
• 분석 및 선형대수학 분야의 특정 비볼록 문제들이 적절한 미분 구조 하에서 지오데식 볼록성이 됨을 보여주는 것.
• 지오데식 볼록성을 이해하는 데 필요한 미분기하학 개념—미분, 지오데식, 접속—을 자가 포함된 방식으로 서술하는 것.
• 지오데식 볼록성이 다양체 위의 곡률 인식 강하 방법을 활용해 효율적인 최적화 알고리즘을 가능하게 함을 보여주는 것.
• 브라스앰프-라이브 상수 계산 및 연산자 스케일링 문제 해결과 같은 문제들에 지오데식 볼록성을 적용하기 위한 이론적 기초를 마련하는 것.

제안 방법

• 리만 기하학을 사용해 지오데식을 국소적으로 길이를 최소화하는 곡선으로 정의하고, 다양체 위에서 직선의 일반화로 간주한다.
• 레비-치비타 접속을 사용해 리만 다양체 위에서 평행 이동과 공변미분을 정의한다.
• 임의의 지오데식 선분의 중점에서 함수 값이 양 끝점의 함수 값 평균 이하가 되는 조건을 통해 지오데식 볼록성을 정의한다.
• 양의 정부호 행렬 다양체에 대해 메트릭 gX(U, V) = tr[X⁻¹UX⁻¹V]를 도입해 지오데식 구조를 정의한다.
• 이 메트릭 하에서 log det(X) 및 log det(T(X)) 함수가 지오데식 볼록임을 증명하며, 이들의 차이 역시 지오데식 볼록성을 띤다.
• 브라스앰프-라이브 상수 및 연산자 용량과 같은 비볼록 문제들을 양의 정부호 콘 위의 지오데식 볼록 최적화 문제로 재구성한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 문제들이 리만 다양체 위에서 지오데식을 사용해 볼록성의 정의를 재정의함으로써 지오데식 볼록 문제로 재구성될 수 있는가?
• RQ2 지오데식 볼록성을 정의하고 알고리즘의 해법 가능성을 보장하기 위해 필요한 미분기하학적 구조는 무엇인가?
• RQ3 브라스앰프-라이브 상수는 양의 정부호 행렬 다양체 위에서 지오데식 볼록 최적화를 통해 계산될 수 있는가?
• RQ4 표준 리만 메트릭 하에서 양의 정부호 콘 위에서 연산자 용량 문제는 지오데식 볼록 형태로 재구성될 수 있는가?
• RQ5 지오데식 볼록성은 이전에는 비볼록으로 간주되었던 문제들에 대해 수렴성과 효율성을 보장하는 최적화 알고리즘 설계에 활용될 수 있는가?

주요 결과

• 브라스앰프-라이브 상수는 지오데식 볼록 최적화를 통해 계산 가능하다: BL(B, p) = exp(−1/2 inf_X∈S⁺⁺ⁿ FB,p(X))이며, FB,p는 지오데식 볼록 함수이다.
• 함수 FB,p(X) = ∑j pj log det(Bj X Bᵀj) − log det(X)는 메트릭 gX(U, V) = tr[X⁻¹UX⁻¹V] 하에서 양의 정부호 행렬 다양체 위에서 지오데식 볼록 함수이다.
• 연산자 용량 함수 log cap(X) = log(det(T(X))/det(X))는 T(X)가 엄격히 양의 선형 사상일 경우 양의 정부호 콘 위에서 지오데식 볼록 함수이다.
• log det(X) 및 log det(T(X))의 지오데식 볼록성은 주어진 리만 메트릭 하에서 log det의 지오데식 볼록성에 기반한다.
• 증명은 (B, p)가 비퇴화된 브라스앰프-라이브 자료일 경우 모든 j에 대해 Tj(X) = Bj X Bᵀj가 엄격히 양의 정부호 행렬임을 보여주며, 이는 합의 지오데식 볼록성을 보장한다.
• 이 프레임워크는 이전에 볼록 최적화의 범위에 들지 않았던 문제들에 대해 다양체 위에서 지오데식 강하 방법을 적용할 수 있도록 한다.