[论文解读] A Block Successive Upper Bound Minimization Method of Multipliers for Linearly Constrained Convex Optimization

Mingyi Hong, Tsung‐Hui Chang+4 more|arXiv (Cornell University)|Jan 28, 2014

Sparse and Compressive Sensing Techniques参考文献 55被引用 67

一句话总结

本文提出了一种用于大规模线性约束凸优化的一阶原始-对偶算法——块连续上界最小化交替方向乘子法（BSUM-M）。该算法交替最小化增广拉格朗日函数的局部紧致上界，并以闭式更新对偶变量，在常规条件下收敛至最优解，且在无强凸性假设下亦能实现线性收敛，即使在无约束条件下亦成立。

ABSTRACT

Consider the problem of minimizing the sum of a smooth convex function and a separable nonsmooth convex function subject to linear coupling constraints. Problems of this form arise in many contemporary applications including signal processing, wireless networking and smart grid provisioning. Motivated by the huge size of these applications, we propose a new class of first order primal-dual algorithms called the block successive upper-bound minimization method of multipliers (BSUM-M) to solve this family of problems. The BSUM-M updates the primal variable blocks successively by minimizing locally tight upper-bounds of the augmented Lagrangian of the original problem, followed by a gradient type update for the dual variable in closed form. We show that under certain regularity conditions, and when the primal block variables are updated in either a deterministic or a random fashion, the BSUM-M converges to the set of optimal solutions. Moreover, in the absence of linear constraints, we show that the BSUM-M, which reduces to the block successive upper-bound minimization (BSUM) method, is capable of linear convergence without strong convexity.

研究动机与目标

• 解决在信号处理、无线网络和智能电网系统中出现的大规模线性约束凸优化问题。
• 开发一种一阶方法，通过采用分块更新和局部上界近似，实现对大数据的高效扩展。
• 通过灵活选择上界函数和更新顺序（确定性或随机性），推广 ADMM 和 BCD 方法。
• 在标准常规条件下，为确定性和随机块更新方案建立收敛性。
• 在无线性约束条件下，证明 BSUM-M 变体（即 BSUM）可实现线性收敛，即使不满足强凸性。

提出的方法

• BSUM-M 算法在原始变量和对偶变量之间交替更新，其中原始变量步骤通过最小化增广拉格朗日函数的局部紧致上界实现。
• 每个原始块以顺序方式更新，可采用固定或随机顺序，使用易于最小化的代理上界函数。
• 对偶变量通过梯度类型步长以闭式更新，近似对偶上升。
• 该方法通过在原始更新中用可定制的上界函数替代增广拉格朗日函数，推广了 ADMM。
• 该算法支持确定性和随机块选择策略，以提升可扩展性和收敛行为。
• 在标准常规条件下（包括凸性和梯度的Lipschitz连续性）建立了收敛性。

实验结果

研究问题

• RQ1 能否设计一种一阶原始-对偶方法，以高效求解具有可分非光滑项的大规模线性约束凸优化问题？
• RQ2 当原始块以确定性或随机顺序更新时，BSUM-M 算法是否收敛至最优解集？
• RQ3 在无强凸性假设下，BSUM-M 是否能实现线性收敛，尤其是在无约束条件下？
• RQ4 在需求响应和压缩感知等实际应用中，BSUM-M 与 ADMM 和随机 BCD 等现有方法相比性能如何？
• RQ5 BSUM-M 是否能有效处理信号处理与智能电网系统中的大数据问题，实现实际收敛速度与可扩展性？

主要发现

• 在标准常规条件下，无论块以确定性还是随机顺序更新，BSUM-M 算法均收敛至最优解集。
• 在无线性约束条件下，BSUM-M 退化为 BSUM 方法，并在不满足强凸性时仍能实现线性收敛。
• 对于基追踪问题，当数据矩阵稀疏且问题规模适中时，BSUM-M 的性能优于随机 BCD。
• 在包含 3000 名用户和 96 个时段的需求响应问题中，BSUM-M 相较于非调度负荷将总成本降低了约 50%，而次梯度法在 200 次迭代内未能收敛。
• 对于 K=3000 名用户，BSUM-M 的总成本为 14.827×10³ 单位，而次梯度法为 60.896×10³ 单位，表明其在收敛性和成本降低方面具有显著优势。
• 如随时间变化的用电量图所示，BSUM-M 在跟踪供电曲线和稳定负荷调度方面优于次梯度算法。