[论文解读] MADMM: a generic algorithm for non-smooth optimization on manifolds

Artiom Kovnatsky, Klaus Glashoff+1 more|arXiv (Cornell University)|May 28, 2015

Sparse and Compressive Sensing Techniques参考文献 45被引用 8

一句话总结

本文提出了MADMM，一种用于黎曼流形上非光滑优化的通用算法，扩展了经典的ADMM框架。通过将问题分解为光滑流形约束子问题与非光滑无约束子问题，MADMM在Stiefel、Grassmann及固定秩矩阵等多样化流形上实现了高效、无需调参的优化，其收敛速度更快、可扩展性更强，优于先前的子梯度下降法和SDP方法，尤其在鲁棒欧氏嵌入与低秩矩阵恢复等任务中表现优异。

ABSTRACT

Numerous problems in machine learning are formulated as optimization with manifold constraints. In this paper, we propose the Manifold alternating directions method of multipliers (MADMM), an extension of the classical ADMM scheme for manifold-constrained non-smooth optimization problems and show its application to several challenging problems in dimensionality reduction, data analysis, and manifold learning.

研究动机与目标

• 解决机器学习与数据分析中黎曼流形上非光滑优化缺乏通用高效算法的问题。
• 将经典ADMM框架扩展至流形约束的非光滑问题，实现对多种流形的广泛适用性。
• 克服现有方法的局限性，如对步长敏感、可扩展性差及依赖流形特异性设计的问题。
• 提供一种简单、开箱即用的解决方案，几乎无需调参，并展现出快速收敛特性。
• 实现对鲁棒欧氏嵌入与低秩矩阵恢复等复杂问题在噪声环境下的稳健求解。

提出的方法

• MADMM将非光滑优化问题分解为两个子问题：一个光滑流形约束最小化问题与一个非光滑无约束最小化问题。
• X-子问题通过流形共轭梯度法求解，利用流形上的黎曼梯度与重投影算子。
• Z-子问题通过收缩（软阈值化）求解，充分利用目标函数的非光滑结构。
• 算法在流形上的X与仿射空间中的Z之间交替更新，采用增广拉格朗日函数的对偶上升法。
• 依赖标准黎曼工具：切空间投影、重投影与内在梯度计算。
• 该方法具有通用性，无需针对具体问题进行推导，可在不同流形上即插即用。

实验结果

研究问题

• RQ1 能否有效将通用ADMM框架扩展至处理黎曼流形上的非光滑目标函数？
• RQ2 MADMM在收敛速度与鲁棒性方面相较于现有子梯度法与SDP方法在非光滑流形优化中的表现如何？
• RQ3 在实际应用中，MADMM对初始化与超参数调优的敏感程度如何？
• RQ4 MADMM能否在SDP变得不可行的大规模问题中实现高效扩展？
• RQ5 在鲁棒欧氏嵌入与低秩矩阵恢复等实际应用中，MADMM是否优于现有方法？

主要发现

• 在鲁棒欧氏嵌入问题中，MADMM的收敛速度优于子梯度下降法，且收敛性不受初始步长影响。
• 该算法在问题规模增大时仍能高效扩展，优于SDP方法，后者因计算成本过高，在n=100后即无法扩展。
• 在US城市嵌入问题（n=500）中，MADMM仅需约50次迭代，而子梯度下降法需约500次迭代，表明其具有显著更快的收敛速度。
• MADMM对初始化具有鲁棒性，且无需任何参数调优，在所有实验中均实现开箱即用。
• 在存在稀疏噪声的情况下，MADMM成功恢复了鲁棒嵌入，而经典MDS则严重受异常值影响。
• 该方法在多种流形（包括Stiefel、Grassmann与固定秩矩阵）上均表现出色，证实了其通用适用性。