[论文解读] Fast Alternating Linearization Methods for Minimizing the Sum of Two Convex Functions

Donald Goldfarb, Shiqian Ma+1 more|arXiv (Cornell University)|Dec 23, 2009

Advanced Optimization Algorithms Research被引用 21

一句话总结

本文提出了一种快速交替线性化方法（FALM），用于最小化两个凸函数的和，该方法基于交替方向增广拉格朗日框架。基本版本的算法达到 O(1/ε) 次迭代，加速版本达到 O(1/√ε) 次迭代，且每次迭代的额外计算成本极低，在压缩感知、矩阵补全和鲁棒PCA等实际问题中展现出优异的收敛性能和实际效率。

ABSTRACT

We present in this paper first-order alternating linearization algorithms based on an alternating direction augmented Lagrangian approach for minimizing the sum of two convex functions. Our basic methods require at most $O(1/ε)$ iterations to obtain an $ε$-optimal solution, while our accelerated (i.e., fast) versions of them require at most $O(1/\sqrtε)$ iterations, with little change in the computational effort required at each iteration. For both types of methods, we present one algorithm that requires both functions to be smooth with Lipschitz continuous gradients and one algorithm that needs only one of the functions to be so. Algorithms in this paper are Gauss-Seidel type methods, in contrast to the ones proposed by Goldfarb and Ma in [21] where the algorithms are Jacobi type methods. Numerical results are reported to support our theoretical conclusions and demonstrate the practical potential of our algorithms.

研究动机与目标

• 解决大规模凸优化问题中，针对两个凸函数之和的高效一阶方法的需求。
• 开发在保持低每次迭代成本的同时，显著提升收敛速度的算法，相比标准一阶方法有明显改进。
• 为基本版本和加速版本提供理论收敛保证，并给出迭代复杂度上界。
• 使方法能够有效应用于实际问题，如压缩感知、鲁棒PCA和稀疏图普斯克尔协方差选择。
• 设计高斯-赛德尔型方法，使其在收敛速度和计算效率方面优于以往的雅可比型方法。

提出的方法

• 提出一种基于交替方向增广拉格朗日框架的方法，将 f(x) + g(x) 的最小化问题分解为分别涉及 f 和 g 的子问题。
• 提出两种变体：一种要求 f 和 g 均为光滑函数且梯度满足Lipschitz连续性；另一种仅要求其中一个为光滑函数。
• 采用高斯-赛德尔型更新策略，即变量按顺序依次更新而非同时更新，从而提升收敛速度。
• 集成Nesterov型加速技术，使加速版本实现 O(1/√ε) 的迭代复杂度。
• 确保每个子问题（1.2）和（1.3）在计算上可处理，仅需梯度计算或简单的软阈值运算。
• 在非光滑或约束条件下（如稀疏图普斯克尔协方差选择问题中），使用线搜索或邻近约束以保持可行性。

实验结果

研究问题

• RQ1 是否可以在不增加每次迭代计算成本的前提下，使一阶方法加速至 O(1/√ε) 的收敛速率，用于处理两个凸函数之和的问题？
• RQ2 高斯-赛德尔更新策略在收敛速度和稳定性方面与雅可比型方法相比有何差异？
• RQ3 当应用于具有非光滑或非强凸分量的问题时，交替线性化方法的理论迭代复杂度是多少？
• RQ4 所提出的方法能否在存在严重损坏的鲁棒PCA和矩阵补全问题中有效应用？
• RQ5 在病态条件或非光滑设置下，与最先进的求解器（如ISTA或ALM）相比，该方法在实际表现如何？

主要发现

• 基本FALM方法在获得ε-最优解时达到 O(1/ε) 的迭代复杂度，与标准一阶方法一致，但实际性能更优。
• 加速FALM变体达到 O(1/√ε) 的迭代复杂度，显著提升了收敛速度，且每次迭代的计算量仅略有增加。
• 在图像去模糊、监控视频背景提取以及存在严重损坏数据的矩阵补全问题上的数值实验结果，证实了该方法的高效性和鲁棒性。
• 在稀疏图普斯克尔协方差选择（SICS）问题中，FALM优于ISTA，且在梯度Lipschitz常数较大时仍能保持可行性，这得益于增广拉格朗日框架。
• 即使当 f(x) 缺乏全局Lipschitz连续梯度时，该方法依然有效，如在SICS应用中面对约束域的情形所示。
• 在所有测试问题中，包括含核范数和 ℓ1 正则化的问题，子问题（1.2）和（1.3）均可通过软阈值或SVD高效求解，确保了极低的每次迭代计算成本。