[论文解读] Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming

Yangyang Xu|arXiv (Cornell University)|Aug 13, 2016

Sparse and Compressive Sensing Techniques参考文献 45被引用 3

一句话总结

该论文提出了一种用于带线性约束的凸优化问题的混合雅可比（Jacobian）与高斯-赛德尔（Gauss-Seidel）块坐标更新方法，该问题包含非可分二次项。通过在前一迭代的仿射组合上近似增广拉格朗日函数，并通过求解一个半定规划（semidefinite program）来选择最优混合矩阵，该方法实现了全局收敛性，且收敛速率为次线性，同时在实际应用中优于纯雅可比法与随机化方法。

ABSTRACT

Recent years have witnessed the rapid development of block coordinate update (BCU) methods, which are particularly suitable for problems involving large-sized data and/or variables. In optimization, BCU first appears as the coordinate descent method that works well for smooth problems or those with separable nonsmooth terms and/or separable constraints. As nonseparable constraints exist, BCU can be applied under primal-dual settings. In the literature, it has been shown that for weakly convex problems with nonseparable linear constraint, BCU with fully Gauss-Seidel updating rule may fail to converge and that with fully Jacobian rule can converge sublinearly. However, empirically the method with Jacobian update is usually slower than that with Gauss-Seidel rule. To maintain their advantages, we propose a hybrid Jacobian and Gauss-Seidel BCU method for solving linearly constrained multi-block structured convex programming, where the objective may have a nonseparable quadratic term and separable nonsmooth terms. At each primal block variable update, the method approximates the augmented Lagrangian function at an affine combination of the previous two iterates, and the affinely mixing matrix with desired nice properties can be chosen through solving a semidefinite programming. We show that the hybrid method enjoys the theoretical convergence guarantee as Jacobian BCU. In addition, we numerically demonstrate that the method can perform as well as Gauss-Seidel method and better than a recently proposed randomized primal-dual BCU method.

研究动机与目标

• 解决大规模线性约束多块凸优化问题中缺乏可靠且高效算法的问题，这些问题包含非可分二次项。
• 克服纯雅可比规则（收敛速度慢）与高斯-赛德尔规则（可能不收敛）在块坐标更新中的局限性。
• 开发一种混合方法，在保留雅可比规则收敛保证的同时，实现高斯-赛德尔规则的实际效率。
• 提供一种系统化的方法，通过半定规划构造混合矩阵，以确保收敛性并提升性能。
• 在实际问题（如非负线性约束二次规划与多类支持向量机）中验证该方法的有效性。

提出的方法

• 将问题建模为带有非可分二次项和可分非光滑函数的多块凸规划问题，且受线性等式约束。
• 对增广拉格朗日函数应用块坐标更新策略，每次仅更新一个块，其余块保持固定。
• 在每次更新中，利用混合矩阵 W，对当前与前一迭代的仿射组合处的增广拉格朗日函数进行近似。
• 通过求解一个半定规划来构造混合矩阵 W，以确保理想的收敛性质与稳定性。
• 采用邻近线性化技术简化子问题的求解，尤其适用于非光滑分量。
• 在每次原始变量更新后，使用标准的增广拉格朗日步骤更新对偶变量（拉格朗日乘子）。

实验结果

研究问题

• RQ1 结合雅可比与高斯-赛德尔规则的混合块坐标方法能否同时实现全局收敛性与快速的实际性能？
• RQ2 如何构造混合矩阵以确保收敛性，同时在速度与稳定性之间取得平衡？
• RQ3 所提方法在收敛速率与可行性方面是否优于现有的随机化与完全基于雅可比的块坐标方法？
• RQ4 该方法能否有效应用于大规模问题，如多类支持向量机与非负二次规划？
• RQ5 初始混合参数与自适应步长对收敛行为有何影响？

主要发现

• 该混合方法实现了全局收敛性，且收敛速率为次线性，与纯雅可比规则的理论保证一致。
• 数值实验表明，该混合方法在实际中表现与高斯-赛德尔方法相当，且显著优于随机化原始-对偶块坐标更新方法。
• 采用自适应参数选择（d¹ = 0.5）的方法收敛更快，且可行性保持更优，相比 d¹ = 0.1 的方法。
• 通过半定规划计算得到的混合矩阵 W 确保了稳定且高效的迭代过程，其元素反映了对先前迭代的最优加权。
• 在多类支持向量机问题中，JaGS-PC（混合方法）在早期迭代中相比 Jacobi-PC 显著降低了目标函数间隙与可行性违反。
• 该混合方法的运行时间包含了求解 W 的半定规划开销，但在大规模场景下，整体性能提升足以证明该额外开销的合理性。