[論文レビュー] Geodesic Convex Optimization: Differentiation on Manifolds, Geodesics, and Convexity

Nisheeth K. Vishnoi|arXiv (Cornell University)|Jun 17, 2018

Point processes and geometric inequalities参考文献 13被引用数 38

ひとこと要約

この論文は、リーマン多様体上での非凸問題を再定式化するためのフレームワークとして測地線凸最適化を導入する。凸性を測地線（曲がった空間における直線の一般化）を用いて再定義することで、ブラスカンプ＝リーブ定数 や 演算子容量 といった関数が適切なリーマン計量のもとで測地線凸となることが示され、測地線勾配降下法を用いた効率的な最適化が可能になる。

ABSTRACT

Convex optimization is a vibrant and successful area due to the existence of a variety of efficient algorithms that leverage the rich structure provided by convexity. Convexity of a smooth set or a function in a Euclidean space is defined by how it interacts with the standard differential structure in this space -- the Hessian of a convex function has to be positive semi-definite everywhere. However, in recent years, there is a growing demand to understand non-convexity and develop computational methods to optimize non-convex functions. Intriguingly, there is a type of non-convexity that disappears once one introduces a suitable differentiable structure and redefines convexity with respect to the straight lines, or {\em geodesics}, with respect to this structure. Such convexity is referred to as {\em geodesic convexity}. Interest in studying it arises due to recent reformulations of some non-convex problems as geodesically convex optimization problems over geodesically convex sets. Geodesics on manifolds have been extensively studied in various branches of Mathematics and Physics. However, unlike convex optimization, understanding geodesics and geodesic convexity from a computational point of view largely remains a mystery. The goal of this exposition is to introduce the first part of geodesic convex optimization -- geodesic convexity -- in a self-contained manner. We first present a variety of notions from differential and Riemannian geometry such as differentiation on manifolds, geodesics, and then introduce geodesic convexity. We conclude by showing that certain non-convex optimization problems such as computing the Brascamp-Lieb constant and the operator scaling problem have geodesically convex formulations.

研究の動機と目的

• リーマン多様体上での測地線を用いた凸性の再定義により、非凸最適化の計算フレームワークを構築すること。
• 解析学および線形代数分野の特定の非凸問題が、適切な微分構造のもとで測地線凸となることを示すこと。
• 測地線凸性を理解するために必要な微分幾何学的概念（微分、測地線、接続）を自己完結的に解説すること。
• 曲率を考慮した降下法を多様体上で用いることで、測地線凸性が効率的最適化アルゴリズムの実現を可能にすることを示すこと。
• ブラスカンプ＝リーブ定数の計算や、演算子スケーリング問題への測地線凸性の理論的基盤を確立すること。

提案手法

• リーマン多様体上での測地線を、局所的に長さを最小化する曲線として定義し、多様体上の直線の一般化とみなす。
• リーマン接続（Levi-Civita 接続）を用いて、多様体上での平行移動と共変微分を定義する。
• 任意の測地線セグメントの中点における関数値が、両端点における関数値の平均以下であるという条件により、測地線凸性を定義する。
• 正定値行列の多様体上に、計量 gX(U, V) = tr[X⁻¹UX⁻¹V] を導入し、測地線構造を定義する。
• この計量のもとで、log det(X) および log det(T(X)) が測地線凸関数であることを証明し、それらの差が測地線凸であることを導く。
• ブラスカンプ＝リーブ定数 や 演算子容量 といった非凸問題を、正定値錐上での測地線凸最適化問題に再定式化する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化問題は、リーマン多様体上での測地線を用いた凸性の再定義により、測地線凸問題に再定式化可能か？
• RQ2 測地線凸性を定義し、アルゴリズムの実行可能性を保証するために必要な微分幾何学的構造は何か？
• RQ3 正定値行列多様体上での測地線凸最適化により、ブラスカンプ＝リーブ定数 は計算可能か？
• RQ4 正定値錐上の標準リーマン計量のもとで、演算子容量問題は測地線凸な定式化を有するか？
• RQ5 測地線凸性は、かつて非凸とみなされてきた問題に対して収束性と効率性を兼ね備えた最適化アルゴリズムの設計に利用可能か？

主な発見

• ブラスカンプ＝リーブ定数 は測地線凸最適化により計算可能である：BL(B, p) = exp(−1/2 inf_X∈S⁺⁺ⁿ FB,p(X)) であり、FB,p は測地線凸関数である。
• 関数 FB,p(X) = ∑j pj log det(Bj X Bᵀj) − log det(X) は、計量 gX(U, V) = tr[X⁻¹UX⁻¹V] のもとで、正定値行列多様体上において測地線凸である。
• 演算子容量関数 log cap(X) = log(det(T(X))/det(X)) は、T(X) が正定値線形写像であるとき、正定値錐上において測地線凸である。
• log det(X) および log det(T(X)) の測地線凸性は、与えられたリーマン計量のもとでの log det の測地線凸性に起因する。
• 証明は、(B, p) が非退化ブラスカンプ＝リーブデータであるとき、すべての j に対して Tj(X) = Bj X Bᵀj が正定値であることを示し、その和の測地線凸性を保証する。
• このフレームワークにより、かつて凸最適化の範囲外とされてきた問題に対しても、多様体上の測地線勾配降下法を適用可能にする。