[论文解读] Improved Complexities of Conditional Gradient-Type Methods with Applications to Robust Matrix Recovery Problems

Dan Garber, Shoham Sabach+1 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques参考文献 11被引用 7

一句话总结

本文提出了一种新型的条件梯度类算法，用于求解涉及两组变量的结构化凸优化问题，其中一组变量（例如低秩矩阵）通过核范数或类似正则化项进行约束。通过利用损失函数的强凸性并采用自适应步长，该方法在无需完整秩SVD的情况下实现了改进的收敛速率——具体为 $ O(1/t^2) $，从而在低秩矩阵恢复问题（如Robust PCA）中比加速方法更具可扩展性。

ABSTRACT

Motivated by robust matrix recovery problems such as Robust Principal Component Analysis, we consider a general optimization problem of minimizing a smooth and strongly convex loss function applied to the sum of two blocks of variables, where each block of variables is constrained or regularized individually. We study a Conditional Gradient-Type method which is able to leverage the special structure of the problem to obtain faster convergence rates than those attainable via standard methods, under a variety of assumptions. In particular, our method is appealing for matrix problems in which one of the blocks corresponds to a low-rank matrix since it avoids prohibitive full-rank singular value decompositions required by most standard methods. While our initial motivation comes from problems which originated in statistics, our analysis does not impose any statistical assumptions on the data.

研究动机与目标

• 为解决Robust PCA等鲁棒矩阵恢复问题，目标是将矩阵分解为低秩与稀疏分量。
• 开发一种一阶优化方法，避免加速方法中常见的昂贵完整秩奇异值分解（SVD）。
• 利用损失函数 $ g(\bullet) $ 的强凸性，以获得比标准条件梯度方法更快的收敛速率。
• 在不同假设下（包括一组为低秩、另一组为稀疏）提供改进的复杂度界。
• 设计一种方法，通过每轮仅依赖秩一SVD，实现大规模矩阵问题的高效可扩展性。

提出的方法

• 该方法是一种条件梯度类算法，通过仅求解负梯度的顶部奇异向量对来迭代求解子问题，从而在无需完整秩SVD的情况下实现高效计算。
• 采用自适应步长，从恒定初始阶段过渡到递减序列，确保后期迭代的快速收敛。
• 尽管整体问题在 $ (X,Y) $ 上并非强凸，但该算法通过利用损失函数 $ g(\bullet) $ 的强凸性，推导出更优的收敛速率。
• 引入两阶段策略：初始阶段使用恒定步长 $ \eta_t = \alpha/(2\beta) $，随后进入递减步长阶段 $ \eta_t = 2/(t - t_0 + 2 + c_0) $。
• 收敛性分析基于一个涉及势函数 $ v_t $ 的递归不等式，证明该势函数在有限次迭代后以 $ O(1/t^2) $ 速率衰减。
• 该方法适用于 $ \mathcal{R}_\mathcal{X}(X) $ 为核范数（用于低秩矩阵）且 $ \mathcal{R}_\mathcal{Y}(Y) $ 为 $ \ell_1 $-范数（用于稀疏矩阵）的情况，或其它结构化范数如 $ \|\cdot\|_{1,2} $ 或 $ \|\cdot\|_{2,1} $。

实验结果

研究问题

• RQ1 能否在不使用完整秩SVD的情况下，使条件梯度类方法在结构化矩阵恢复问题中实现 $ O(1/t^2) $ 的收敛速率？
• RQ2 如何利用损失函数的强凸性来提升非强凸问题中的收敛速率？
• RQ3 何种步长策略可在保持每轮低计算成本的同时实现快速收敛？
• RQ4 该方法是否能在大规模低秩矩阵问题中超越FISTA或Nesterov方法等加速一阶方法？
• RQ5 在不同约束集与正则化器假设下，该方法的理论复杂度界是什么？

主要发现

• 所提方法实现了 $ O(1/t^2) $ 的收敛速率，与FISTA和Nesterov最优方法等最佳已知加速方法的速率相当。
• 通过每轮仅需一次秩一SVD，该方法避免了完整秩SVD，显著提升了相比投影法或近端法的可扩展性。
• 在初始阶段，方法采用恒定步长 $ \eta_t = \alpha/(2\beta) $，在 $ t_0 = \lceil 2\beta/\alpha \ln(2C/(\alpha D_\mathcal{Y}^2)) \rceil $ 次迭代后，转入递减步长序列。
• 收敛速率通过势函数 $ v_t $ 的递归不等式得到证明，该函数在初始阶段后以 $ O(1/t^2) $ 速率衰减。
• 该方法的复杂度界为 $ O(1/t^2) $，且分析不依赖于数据的统计假设，因此适用于统计之外的一般优化问题。
• 该方法适用于多种鲁棒矩阵恢复问题，包括Robust PCA、低秩协方差估计，以及存在损坏行/列的矩阵补全问题。