[论文解读] Fast Multiple Splitting Algorithms for Convex Optimization

Donald Goldfarb, Shiqian Ma|arXiv (Cornell University)|Dec 23, 2009

Sparse and Compressive Sensing Techniques参考文献 6被引用 16

一句话总结

本文提出两类针对包含K个凸函数之和的凸优化问题的快速多分裂算法。通过结合交替方向法与最优梯度技术，作者在Lipschitz连续梯度假设下，分别获得了O(1/ε)和O(1/√ε)的迭代复杂度界，且所有算法均可并行化，适用于大规模问题。

ABSTRACT

We present in this paper two different classes of general $K$-splitting algorithms for solving finite-dimensional convex optimization problems. Under the assumption that the function being minimized has a Lipschitz continuous gradient, we prove that the number of iterations needed by the first class of algorithms to obtain an $ε$-optimal solution is $O(1/ε)$. The algorithms in the second class are accelerated versions of those in the first class, where the complexity result is improved to $O(1/\sqrtε)$ while the computational effort required at each iteration is almost unchanged. To the best of our knowledge, the complexity results presented in this paper are the first ones of this type that have been given for splitting and alternating direction type methods. Moreover, all algorithms proposed in this paper are parallelizable, which makes them particularly attractive for solving certain large-scale problems.

研究动机与目标

• 开发高效、可扩展的算法，用于求解涉及K个凸函数之和的大规模凸优化问题。
• 将收敛复杂度结果拓展至K=2以外的情形，突破现有大多数分裂法与交替方向法研究集中于K=2的局限。
• 设计仅使用一阶信息且具有最优迭代复杂度的算法，相较于现有方法在收敛速度上实现改进。
• 确保所提算法天然具备并行性，支持在现代计算架构上高效实现。
• 为一般K ≥ 2建立理论复杂度界，填补现有文献中关于多于两个算子的分裂方法研究的空白。

提出的方法

• 第一类算法采用交替线性化策略，即在每次迭代中，对K个子问题进行求解：其中K−1个函数被线性化，而一个函数保持不变。
• 第二类算法通过Nesterov型最优梯度方法引入加速，将收敛复杂度从O(1/ε)提升至O(1/√ε)，且显著增加每次迭代的计算成本。
• 算法基于变量分裂与增广拉格朗日框架构建，支持分解与并行计算。
• 采用平滑技术处理非光滑分量，使非光滑问题也能应用最优梯度方法。
• 引入松弛参数τ与惩罚参数μ，以控制收敛行为与稳定性。
• 算法设计支持在分布式或并行计算环境中实现，提升大规模问题的可扩展性。

实验结果

研究问题

• RQ1 针对K ≥ 2个凸函数的分裂算法能否实现与Nesterov最优梯度方法相当的最优迭代复杂度？
• RQ2 当目标函数具有Lipschitz连续梯度时，多分裂算法的收敛速率如何？
• RQ3 能否有效将最优梯度方法中的加速技术整合进K > 2的交替方向型算法中？
• RQ4 所提算法的并行性如何影响其在大规模优化问题中的性能表现？
• RQ5 一般K-分裂算法的理论复杂度界是什么？与K=2情形下的现有方法相比有何差异？

主要发现

• 第一类算法在Lipschitz连续梯度假设下，获得O(1/ε)的迭代复杂度界，以获得ε-最优解。
• 算法的加速版本实现了改进的O(1/√ε)迭代复杂度，与一阶方法的最佳已知收敛速率一致。
• 所提算法是首个为K-分裂方法在K=2以外情形建立此类复杂度界的算法。
• 数值实验表明，FaMSA-s（加速版FaMSA）在收敛速度与解质量方面始终优于FaMSA与标准梯度法。
• MSA算法在200次迭代后，使用μ=5成功重建了一幅模糊的Cameraman图像，ISNR达到5.3182。
• 当μ=5时，FaMSA与FaMSA-s在早期迭代中出现发散，表明对参数选择敏感；而MSA保持稳定且有效。