[论文解读] Linearized Alternating Direction Method with Adaptive Penalty for Low-Rank Representation

Zhouchen Lin, Risheng Liu+1 more|arXiv (Cornell University)|Sep 2, 2011

Sparse and Compressive Sensing Techniques参考文献 16被引用 753

一句话总结

本文提出LADMAP，一种用于高效求解低秩表示（LRR）的线性化交替方向法，结合自适应惩罚策略。通过线性化二次惩罚项并采用自适应惩罚更新，LADMAP将计算复杂度从O(n³)降低至O(rn²)，实现了比现有最先进方法更快的收敛速度，支持可扩展的大规模LRR应用。

ABSTRACT

Many machine learning and signal processing problems can be formulated as lin-early constrained convex programs, which could be efficiently solved by the alter-nating direction method (ADM). However, usually the subproblems in ADM are easily solvable only when the linear mappings in the constraints are identities. To address this issue, we propose a linearized ADM (LADM) method by linearizing the quadratic penalty term and adding a proximal term when solving the sub-problems. For fast convergence, we also allow the penalty to change adaptively according a novel update rule. We prove the global convergence of LADM with adaptive penalty (LADMAP). As an example, we apply LADMAP to solve low-rank representation (LRR), which is an important subspace clustering technique yet suffers from high computation cost. By combining LADMAP with a skinny SVD representation technique, we are able to reduce the complexity O(n3) of the original ADM based method to O(rn2), where r and n are the rank and size of the representation matrix, respectively, hence making LRR possible for large scale applications. Numerical experiments verify that for LRR our LADMAP based methods are much faster than state-of-the-art algorithms. 1

研究动机与目标

• 为解决现有交替方向法（ADM）在低秩表示（LRR）中计算成本过高的问题。
• 克服ADM子问题仅在映射为恒等映射时才可解的局限性。
• 开发一种具有自适应惩罚的线性化ADM变体，以实现更快的收敛速度和更高的效率。
• 将LRR的计算复杂度从O(n³)降低至O(rn²)，以支持大规模应用。
• 实现LRR在大规模机器学习与信号处理任务中的实际部署。

提出的方法

• 通过在增广拉格朗日函数中线性化二次惩罚项，提出一种线性化交替方向法（LADM）。
• 在子问题中引入邻近项，以提升数值稳定性和收敛性。
• 采用自适应惩罚更新规则，根据收敛进度动态调整惩罚参数。
• 结合瘦SVD表示技术，降低计算成本。
• 通过利用低秩矩阵优化的结构，高效求解子问题。
• 在标准假设下证明了所提LADMAP算法的全局收敛性。

实验结果

研究问题

• RQ1 与传统ADM方法相比，具有自适应惩罚的线性化ADM能否在低秩表示中实现更快的收敛速度？
• RQ2 如何在保持解精度的前提下，将LRR的计算复杂度从O(n³)降低至O(rn²)？
• RQ3 自适应惩罚更新对算法收敛速度和鲁棒性有何影响？
• RQ4 所提方法能否在标准ADM因计算成本过高而失效的大规模数据集上实现有效扩展？
• RQ5 线性化与瘦SVD的结合如何提升低秩表示的效率？

主要发现

• LADMAP在标准假设下实现全局收敛，确保了解决方案的可靠性。
• LRR的计算复杂度从O(n³)降低至O(rn²)，其中r为秩，n为矩阵大小。
• 在大规模数据集上，所提方法在运行时间方面显著优于现有最先进算法。
• 数值实验表明，LADMAP在收敛速度上优于现有基于ADM的LRR方法。
• 自适应惩罚更新规则在不损害解精度的前提下，显著提升了收敛速度。