[論文レビュー] Frank-Wolfe methods for geodesically convex optimization with application to the matrix geometric mean.

Melanie Weber, Sra Suvrit|arXiv (Cornell University)|Oct 30, 2017

Optimization and Variational Analysis被引用数 3

ひとこと要約

本稿では、正定値行列の多様体上での測地的凸最適化に対して、ユークリッド的およびリーマン的フランク＝ウォルフアルゴリズムを導入し、リーマン的FWのための最初の非漸近的収束速度を確立した。行列幾何平均の閉形式オракル実装を提供し、追加の条件下で線形収束を証明し、最先端の手法と比較して優れた実験的性能を示した。

ABSTRACT

We consider optimization of geodesically convex objectives over geodesically convex subsets of the manifold of positive definite matrices. In particular, for this task, we develop Euclidean and Riemannian Frank-Wolfe (FW) algorithms. For both settings, we analyze non-asymptotic convergence rates to global optimality. To our knowledge, these are the first results on Riemannian FW and its convergence. We specialize our algorithms for the task of computing the matrix geometric mean, i.e., the Riemannian centroid of a set of positive definite matrices. For this problem, we provide concrete, closed-form realizations of the crucial oracle required by FW that may be of independent interest. Moreover, under an additional hypothesis, we prove how Riemannian FW can even attain a linear rate of convergence. Experiments against recently published methods for the matrix geometric mean substantiate the competitiveness of the proposed FW algorithms.

研究の動機と目的

• リーマン的フランク＝ウォルフ手法が測地的凸最適化設定において収束解析が不足している問題に対処する。
• 測地的凸最適化の特殊なケースとしての行列幾何平均の計算に効率的なアルゴリズムを開発する。
• 正定値行列に対するリーマン的FWオラクルの明示的・閉形式実装を提供する。これは本研究の範囲を超えて有用である可能性がある。
• この設定におけるリーマン的FWの理論的収束保証、特に追加仮定の下での線形収束を確立する。
• 最近の手法と比較して、提案されたアルゴリズムの実用的競争力を実験的に示す。

提案手法

• 正定値行列の多様体上での測地的凸目的関数に特化したリーマン的フランク＝ウォルフアルゴリズムを提案する。
• 正定値行列を対称行列空間に埋め込むことで、ベースラインとしてユークリッド的フランク＝ウォルフの変種を設計する。
• 正定値行列の集合の凸包上での測地的最小化を計算するリーマン的FWオラクルの閉形式解を構築する。
• 正定値多様体のリーマン的構造、特にアフィン不変計量と測地線を用いて、アルゴリズムのステップを定義する。
• ユークリッド的およびリーマン的FW変種の両方について、非漸近的収束速度を確立し、最適解へのグローバル収束を証明する。
• 曲率や多様体上の強い凸性に類似した条件といった追加仮定の下で、リーマン的FW手法の線形収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 測地的凸最適化の設定において、正定値行列の多様体上でのリーマン的フランク＝ウォルフ手法は、収束性について厳密に解析可能か？
• RQ2 行列幾何平均問題におけるリーマン的FWオラクルの計算複雑度と実装可能性は何か？
• RQ3 どのような条件下で、リーマン的FWはこの設定で線形収束速度を達成できるか？
• RQ4 提案されたFWアルゴリズムは、最近の行列幾何平均計算の最先端手法と実際の性能でどのように比較されるか？
• RQ5 正定値行列の文脈において、リーマン的FWの部分問題に対して閉形式解を導出可能か？

主な発見

• 本研究は、正定値行列の多様体上での測地的凸最適化におけるリーマン的フランク＝ウォルフアルゴリズムの最初の非漸近的収束解析を提供する。
• 提案されたリーマン的FW手法は、有界曲率や強い測地的凸性といった追加仮定の下で線形収束を達成する。
• 行列幾何平均問題におけるリーマン的FWオラクルの閉形式解が導出され、効率的な実装が可能となった。
• ユークリッド的およびリーマン的フランク＝ウォルフ変種の両方が、確立された非漸近的レートで最適解へグローバルに収束する。
• 実験結果から、提案されたFWアルゴリズムが、最近発表された手法と同等またはそれ以上の性能を示した。
• 閉形式オラクル実装は独立した価値を持ち、正定値多様体上での他のリーマン最適化問題への応用も可能である可能性がある。