[论文解读] Frank-Wolfe methods for geodesically convex optimization with application to the matrix geometric mean.

Melanie Weber, Sra Suvrit|arXiv (Cornell University)|Oct 30, 2017

Optimization and Variational Analysis被引用 3

一句话总结

本文提出了适用于正定矩阵流形上测地凸优化的欧几里得与黎曼Frank-Wolfe算法，首次建立了黎曼Frank-Wolfe方法的非渐近收敛速率。该工作提供了矩阵几何平均的闭式预言机实现，并在附加条件下证明了线性收敛性，实验证明其性能优于当前最先进的方法。

ABSTRACT

We consider optimization of geodesically convex objectives over geodesically convex subsets of the manifold of positive definite matrices. In particular, for this task, we develop Euclidean and Riemannian Frank-Wolfe (FW) algorithms. For both settings, we analyze non-asymptotic convergence rates to global optimality. To our knowledge, these are the first results on Riemannian FW and its convergence. We specialize our algorithms for the task of computing the matrix geometric mean, i.e., the Riemannian centroid of a set of positive definite matrices. For this problem, we provide concrete, closed-form realizations of the crucial oracle required by FW that may be of independent interest. Moreover, under an additional hypothesis, we prove how Riemannian FW can even attain a linear rate of convergence. Experiments against recently published methods for the matrix geometric mean substantiate the competitiveness of the proposed FW algorithms.

研究动机与目标

• 解决黎曼Frank-Wolfe方法在测地凸优化设置下缺乏收敛性分析的问题。
• 为计算矩阵几何平均（作为测地凸优化的特例）开发高效算法。
• 为正定矩阵提供显式、闭式实现的黎曼Frank-Wolfe预言机，其应用价值可能超越本研究。
• 在该设置下建立理论收敛保证，包括在附加假设下实现线性收敛的理论结果。
• 通过与近期方法的实验对比，展示所提算法在实际应用中的竞争力。

提出的方法

• 提出一种专用于正定矩阵流形上测地凸目标函数的黎曼Frank-Wolfe算法。
• 设计一种欧几里得Frank-Wolfe变体作为基线，利用正定矩阵嵌入到对称矩阵空间的特性。
• 为黎曼Frank-Wolfe预言机开发闭式解，用于计算一组正定矩阵凸包上的测地线最小化点。
• 利用正定矩阵流形的黎曼结构，包括仿射不变度量和测地线，定义算法步骤。
• 为欧几里得与黎曼Frank-Wolfe变体建立非渐近收敛速率，并证明其全局收敛至最优解。
• 在额外假设（如流形上的有界曲率或强测地凸性）下，证明黎曼Frank-Wolfe方法的线性收敛性。

实验结果

研究问题

• RQ1 黎曼Frank-Wolfe方法能否在正定矩阵流形的测地凸优化设置下实现严格的收敛性分析？
• RQ2 黎曼Frank-Wolfe预言机在矩阵几何平均问题中的计算复杂度与可实现性如何？
• RQ3 在何种条件下，黎曼Frank-Wolfe方法可在此设置下实现线性收敛速率？
• RQ4 所提出的Frank-Wolfe算法在实际中与近期最先进的矩阵几何平均计算方法相比表现如何？
• RQ5 能否在正定矩阵背景下为黎曼Frank-Wolfe子问题推导出闭式解？

主要发现

• 本工作首次为正定矩阵流形上测地凸优化中的黎曼Frank-Wolfe算法提供了非渐近收敛性分析。
• 所提出的黎曼Frank-Wolfe方法在额外假设（如曲率有界或强测地凸性）下实现线性收敛。
• 为矩阵几何平均问题中的黎曼Frank-Wolfe预言机推导出闭式解，支持高效实现。
• 欧几里得与黎曼Frank-Wolfe变体均以已建立的非渐近速率全局收敛至最优解。
• 实验结果表明，所提Frank-Wolfe算法在计算矩阵几何平均方面与近期发表的方法相比具有竞争力或表现更优。
• 闭式预言机实现本身具有独立研究价值，可能适用于正定流形上的其他黎曼优化问题。