[论文解读] Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning

Shixiang Chen, Zengde Deng+2 more|arXiv (Cornell University)|May 5, 2020

Sparse and Compressive Sensing Techniques参考文献 38被引用 12

一句话总结

该论文提出了流形近端点算法（ManPPA）及其随机变体（StManPPA），用于求解在正交字典学习（ODL）和鲁棒子空间恢复（RSR）中出现的非凸、非光滑问题，即在球面上最小化线性映射的ℓ1范数。通过利用球面的流形结构，ManPPA 实现了全局亚线性收敛和尖锐实例下的局部二次收敛；而 StManPPA 则在保证亚线性收敛的前提下支持大规模计算，其理论与实践表现均优于次梯度方法。

ABSTRACT

We consider the problem of maximizing the $\ell_1$ norm of a linear map over the sphere, which arises in various machine learning applications such as orthogonal dictionary learning (ODL) and robust subspace recovery (RSR). The problem is numerically challenging due to its nonsmooth objective and nonconvex constraint, and its algorithmic aspects have not been well explored. In this paper, we show how the manifold structure of the sphere can be exploited to design fast algorithms for tackling this problem. Specifically, our contribution is threefold. First, we present a manifold proximal point algorithm (ManPPA) for the problem and show that it converges at a sublinear rate. Furthermore, we show that ManPPA can achieve a quadratic convergence rate when applied to the ODL and RSR problems. Second, we propose a stochastic variant of ManPPA called StManPPA, which is well suited for large-scale computation, and establish its sublinear convergence rate. Both ManPPA and StManPPA have provably faster convergence rates than existing subgradient-type methods. Third, using ManPPA as a building block, we propose a new approach to solving a matrix analog of the problem, in which the sphere is replaced by the Stiefel manifold. The results from our extensive numerical experiments on the ODL and RSR problems demonstrate the efficiency and efficacy of our proposed methods.

研究动机与目标

• 为解决在正交字典学习（ODL）和鲁棒子空间恢复（RSR）中出现的、在球面上最小化线性映射 ℓ1 范数的数值挑战。
• 利用球面的流形结构，设计针对此非凸、非光滑优化问题的更快且可证明收敛的算法。
• 提出一种基于半光滑牛顿法的非精确增广拉格朗日方法（inexact ALM），以在 ManPPA 中高效求解子问题，并实现超线性收敛。
• 提出 StManPPA 的随机变体，以支持大规模应用，同时保持可证明的亚线性收敛性。
• 将框架扩展至使用 Stiefel 流形的矩阵形式，以增强在字典学习和子空间恢复中的广泛应用性。

提出的方法

• 提出 ManPPA，一种流形近端点算法，通过在球面上使用带二次惩罚的近端最小化方法迭代求解子问题。
• 引入一种基于半光滑牛顿法的非精确增广拉格朗日方法（inexact ALM），用于在 ManPPA 中计算搜索方向，实现渐近超线性收敛。
• 开发 StManPPA，即 ManPPA 的随机变体，通过随机采样 ℓ1 目标函数以实现大规模问题的可扩展性。
• 采用基于流形的近端点框架，并结合流形特异的近端映射，以处理非凸的球面约束。
• 利用黎曼次微分与切空间投影，确保优化过程中迭代点始终保持在球面上。
• 采用基于流形的平滑化与线搜索策略，在非光滑目标函数下维持收敛性保证。

实验结果

研究问题

• RQ1 能否利用球面的流形结构，设计出更快且可证明收敛的 ℓ1 最小化算法？
• RQ2 ManPPA 在 ODL 与 RSR 问题中是否相比现有次梯度类方法具有更优的收敛速率？
• RQ3 能否设计一种基于半光滑牛顿法的非精确 ALM，以实现 ManPPA 子问题的超线性收敛？
• RQ4 能否开发出一种保持收敛性保证的同时支持大规模计算的 ManPPA 随机变体？
• RQ5 能否将该框架扩展至使用 Stiefel 流形的矩阵形式，以提升在字典学习与子空间恢复中的广泛应用性？

主要发现

• ManPPA 实现了全局亚线性收敛，并在问题的尖锐实例下达到局部二次收敛。
• 基于半光滑牛顿法的非精确 ALM 在求解 ManPPA 子问题时实现了渐近超线性收敛。
• StManPPA 实现了可证明的亚线性收敛速率，适用于大规模问题。
• 在 ODL 与 RSR 上的数值实验表明，ManPPA 与 StManPPA 在收敛速度与解质量方面均优于现有次梯度类方法。
• 所提出的基于 Stiefel 流形的矩阵形式方法成功将框架扩展至高秩问题，并在实验中取得良好效果。