[论文解读] Manopt, a Matlab toolbox for optimization on manifolds

Nicolas Boumal, Bamdev Mishra+2 more|arXiv (Cornell University)|Aug 23, 2013

Sparse and Compressive Sensing Techniques参考文献 16被引用 796

一句话总结

Manopt 是一个 MATLAB 工具箱，可在流形上实现高效的黎曼优化，通过利用流形的光滑几何结构，为解决具有秩、正交性或对称性约束的约束优化问题提供用户友好的接口。其主要贡献是一个灵活且可扩展的框架，简化了对前沿黎曼算法的实验，支持多种流形和求解器，包括信赖域法和共轭梯度法。

ABSTRACT

Optimization on manifolds is a rapidly developing branch of nonlinear optimization. Its focus is on problems where the smooth geometry of the search space can be leveraged to design efficient numerical algorithms. In particular, optimization on manifolds is well-suited to deal with rank and orthogonality constraints. Such structured constraints appear pervasively in machine learning applications, including low-rank matrix completion, sensor network localization, camera network registration, independent component analysis, metric learning, dimensionality reduction and so on. The Manopt toolbox, available at www.manopt.org, is a user-friendly, documented piece of software dedicated to simplify experimenting with state of the art Riemannian optimization algorithms. We aim particularly at reaching practitioners outside our field.

研究动机与目标

• 为非该领域专家的实践者提供一个用户友好、文档齐全的 MATLAB 工具箱，简化黎曼优化算法的实现与实验。
• 支持在机器学习和工程中常见的一系列流形，如 Stiefel 流形、Grassmann 流形、固定秩流形和正交流形。
• 通过利用搜索空间的黎曼结构（包括切空间、重投影映射以及黎曼梯度和黎曼海塞矩阵），实现高效的数值优化。
• 提供可扩展的求解器接口，支持标准停止准则、回调函数和缓存机制，避免冗余计算。
• 通过实际应用（如低秩矩阵补全和最大割问题）展示工具箱的实用性，使用真实案例并进行梯度验证。

提出的方法

• 该工具箱通过包含流形描述（通过工厂函数实现）、目标函数及其欧氏导数的问题结构来表示优化问题，这些导数可自动转换为黎曼等价形式。
• Manopt 支持多种黎曼流形，包括反对称流形、Stiefel 流形、Grassmann 流形以及固定秩矩阵，每种流形均配有适当的黎曼度量和重投影映射。
• 实现了标准的黎曼求解器，如信赖域法、共轭梯度法（支持预处理）、最速下降法以及无导数方法，并具备未来扩展支持黎曼 BFGS 或随机梯度等算法的能力。
• 系统集成了通过 checkgradient 和 checkhessian 函数实现的自动梯度与海塞矩阵验证，以确保用户定义导数的正确性。
• 集成缓存系统，用于在目标函数和导数计算之间重用中间计算结果（如矩阵乘积），从而提升迭代算法的性能。
• 工具箱支持流形的笛卡尔积，并提供可扩展的新目标函数表示接口，包括次梯度和部分梯度，确保长期可维护性。

实验结果

研究问题

• RQ1 如何使黎曼优化算法对优化和微分几何领域的非专家更加易用且实用？
• RQ2 在高层级、用户友好的 MATLAB 环境中，最有效的方法是什么？如何抽象并封装流形的几何复杂性？
• RQ3 在确保黎曼优化中梯度和海塞矩阵正确性的前提下，如何保持数值效率？
• RQ4 模块化、可扩展的工具箱框架在多大程度上能够支持机器学习和信号处理中的多样化优化问题？
• RQ5 该工具箱能否有效用于通过黎曼优化求解非凸、结构化优化问题，如低秩矩阵补全和最大割问题？

主要发现

• Manopt 能够使用户仅用极少代码即可在复杂流形（如固定秩椭圆体和 Stiefel 流形）上求解优化问题，如在最大割问题示例中所展示的。
• 集成的梯度与海塞矩阵验证工具（checkgradient、checkhessian）确保了用户定义导数的正确性，显著降低了实现错误。
• 对中间矩阵乘积（如 LY）的缓存显著提升了迭代算法中的计算效率，尤其在大规模问题中效果明显。
• 该工具箱支持广泛的流形，包括反对称流形、Grassmann 流形以及对称正定固定秩矩阵，使机器学习中的多样化应用成为可能。
• Manopt 中的信赖域法和共轭梯度求解器在低秩矩阵补全和最大割等非凸问题上实现了收敛，展现出鲁棒性与高效性。
• 该框架支持在最大割松弛问题中逐步增加秩，通过在固定秩半正定流形上进行黎曼优化，实现了形式上界的有效计算。