[论文解读] Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions

C. H. Jeffrey Pang|arXiv (Cornell University)|Sep 27, 2017

Optimization and Variational Analysis参考文献 31被引用 3

一句话总结

本文将Dykstra分裂算法扩展至通过引入正则化二次项来最小化凸函数之和，证明在放宽条件下收敛于原始最小化解，允许非循环更新和多个函数的最小化。此外，提出一种基于Dykstra分裂的近似邻近点算法，实现当存在对偶最小化解时的O(1/n)收敛速度。

ABSTRACT

We show that Dykstra's splitting for projecting onto the intersection of convex sets can be extended to minimize the sum of convex functions and a regularizing quadratic. We give conditions for which convergence to the primal minimizer holds so that more than one convex function can be minimized at a time, the convex functions are not necessarily sampled in a cyclic manner, and the SHQP strategy for problems involving the intersection of more than one convex set can be applied. When the sum does not involve the regularizing quadratic, we discuss an approximate proximal point method combined with Dykstra's splitting to minimize this sum.

研究动机与目标

• 将Dykstra的分裂算法从投影到凸集交集推广至通过正则化二次项最小化凸函数之和。
• 在不需循环更新或约束资格条件的情况下，建立收敛于原始最小化解的理论保证。
• 开发一种利用Dykstra分裂来最小化凸函数之和（无正则化二次项）的近似邻近点算法。
• 引入SHQP（支撑半空间与二次规划）启发式方法，以加速涉及多个凸集问题的收敛速度。
• 提供当对偶最小化解存在时，算法实现O(1/n)收敛速率的条件。

提出的方法

• 将Dykstra分裂算法适配于最小化问题 ∑ᵢ hᵢ(x) + ½‖x − x₀‖²，通过使用一般凸函数的近端映射替代投影操作。
• 在对偶问题上采用块坐标最小化，将每个函数 hᵢ 视为独立块，且更新无需循环进行。
• 引入支撑半空间（SHQP）启发式方法，通过利用前一迭代的次梯度信息，构建比单个集合更精确的凸集交集近似，从而提升收敛性能。
• 通过使用Dykstra分裂求解一系列形式为(1.3)的子问题，结合自适应中心更新，应用邻近点算法。
• 利用Fenchel对偶性与支撑函数推导对偶条件，并通过距离最优解的压缩定理确保收敛性。
• 利用紧致性与误差界论证，验证迭代序列趋近于凸集的交集，满足可行性条件。

实验结果

研究问题

• RQ1 Dykstra分裂算法能否被扩展至最小化凸函数之和并引入正则化二次项，而不仅限于集合的投影？
• RQ2 当函数以非循环顺序最小化时，Dykstra分裂在何种条件下收敛于原始最小化解？
• RQ3 SHQP启发式方法能否被形式化证明并整合进Dykstra分裂算法，以提升涉及多个凸集问题的收敛性能？
• RQ4 当与Dykstra分裂结合时，近似邻近点算法的收敛速率可保证为何种水平？
• RQ5 在集合交集无法精确获知的情况下，如何在实践中验证迭代序列的可行性及其与最优解的接近程度？

主要发现

• Dykstra分裂算法在无需约束资格条件的情况下，收敛于最小化 ∑ᵢ hᵢ(x) + ½‖x − x₀‖² 的原始最小化解，即使更新顺序非循环。
• 当存在对偶最小化解时，算法实现O(1/n)收敛速率，该结论通过将压缩定理应用于迭代序列到最优解的距离得到验证。
• SHQP启发式方法通过利用前一迭代的次梯度信息，构建更紧致的凸集交集半空间近似，从而提升收敛性能。
• 提出一种近似邻近点算法，利用Dykstra分裂求解子问题，在较弱条件下保证收敛性。
• 通过估计到各集合的距离验证迭代序列的可行性，紧致性保证：若到每个集合的距离都很小，则到其交集的距离也小。
• 该方法支持同时最小化多个凸函数，且不要求函数按固定循环顺序采样。