[论文解读] A primal-dual splitting algorithm for finding zeros of sums of maximally monotone operators

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Jun 26, 2012

Numerical methods in inverse problems参考文献 20被引用 7

一句话总结

本文提出了一种原始-对偶分裂算法，用于在有限维希尔伯特空间中寻找极大单调算子之和（包括与连续线性算子复合的情况）的零点，通过分别利用相关算子的预解算子实现。该方法在有限维希尔伯特空间中实现收敛，并在图像处理和费马-韦伯选址问题求解中表现出优于经典及近期迭代方法的性能。

ABSTRACT

We consider the primal problem of finding the zeros of the sum of a maximally monotone operator with the composition of another maximally monotone operator with a linear continuous operator and a corresponding dual problem formulated by means of the inverse operators. A primal-dual splitting algorithm which simultaneously solves the two problems in finite-dimensional spaces is presented. The scheme uses at each iteration separately the resolvents of the maximally monotone operators involved and it gives rise to a splitting algorithm for finding the zeros of the sum of compositions of maximally monotone operators with linear continuous operators. The iterative schemes are used for solving nondifferentiable convex optimization problems arising in image processing and in location theory.

研究动机与目标

• 开发一种原始-对偶分裂算法，能够同时求解原始包含问题及其Attouch-Théra型对偶问题。
• 克服经典分裂方法（如前向-后向法和Tseng算法）对算子施加的严格条件限制。
• 提出一种方法，分别使用极大单调算子的预解算子，避免计算复合算子的预解算子。
• 将算法扩展至处理极大单调算子与连续线性算子复合之和的情形。
• 将该方法应用于图像去模糊、去噪及选址理论中的非光滑凸优化问题。

提出的方法

• 该算法在有限维希尔伯特空间中构建，用于求解包含问题：寻找 $ x \in X $ 使得 $ 0 \in Ax + K^*BKx $，其中 $ A $ 和 $ B $ 为极大单调算子，$ K $ 为连续线性算子。
• 在每次迭代中分别使用 $ A $ 和 $ B $ 的预解算子，避免计算 $ K^*BK $ 的预解算子，后者通常难以处理。
• 通过对偶算子形式化对偶问题，该算法同时求解原始与对偶包含问题。
• 通过乘积空间方法推导出该算法，且在极大单调性与连续性标准假设下建立了收敛性。
• 对于复合算子之和的情形，通过引入额外的对偶变量重新表述问题，并应用相同的分裂策略对算法进行扩展。
• 该方法应用于次梯度包含问题，在 $ A $ 和 $ B $ 分别为适当、凸且下确界连续函数的次微分算子时，可恢复已知的原始-对偶算法作为特例。

实验结果

研究问题

• RQ1 能否设计一种原始-对偶分裂算法，分别使用单个极大单调算子的预解算子，而无需计算其复合算子的预解算子？
• RQ2 如何利用Attouch-Théra对偶框架设计一种同时求解原始与对偶包含问题的联合求解方案？
• RQ3 在极大单调性与线性连续性标准假设下，此类算法的收敛性特征如何？
• RQ4 该算法能否扩展至处理多个极大单调算子与线性算子复合之和的情形？
• RQ5 在图像处理与选址理论应用中，该算法相较于经典及近期方法的性能表现如何？

主要发现

• 对于点 $ c_1=(59,0), c_2=(20,0), c_3=(-20,48), c_4=(-20,-48) $ 的费马-韦伯问题，算法19在30次迭代后达到三位小数精度的最优解，优于Grad、Nest和FaMSA-s方法。
• 在包含远端点 $ c_5=(100,100) $ 的困难情形下，Weiszfeld算法及文献[16]中的基于平滑化的方法在数百万次迭代内均未能收敛，而算法19仅用478次迭代即达到最优精度。
• 该算法在处理奇点与病态条件问题（如最优解与数据点重合）时表现出强鲁棒性。
• 在图像去模糊与去噪中，该算法高效求解了涉及多个函数与线性算子复合的非光滑凸优化问题。
• 该方法提供了一个统一框架，当算子为凸函数的次微分算子时，可作为特例恢复已知的原始-对偶算法。
• 在标准假设下，该算法的收敛性得到保证，且由于预解算子的独立计算，迭代过程计算效率较高。