[论文解读] Inertial Douglas-Rachford splitting for monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek+1 more|arXiv (Cornell University)|Mar 13, 2014

Optimization and Variational Analysis参考文献 32被引用 11

一句话总结

本文提出了一种用于在希尔伯特空间中求解单调包含问题的惯性Douglas-Rachford分裂算法，该方法利用Krasnosel’skiï’-Mann算法的惯性变体来加速收敛。该方法允许对算子的预解算子进行独立访问，并被应用于对偶优化问题，数值实验表明其在聚类和位置理论问题中表现出色。

ABSTRACT

We propose an inertial Douglas-Rachford splitting algorithm for finding the set of zeros of the sum of two maximally monotone operators in Hilbert spaces and investigate its convergence properties. To this end we formulate first the inertial version of the Krasnosel'ski\uı--Mann algorithm for approximating the set of fixed points of a nonexpansive operator, for which we also provide an exhaustive convergence analysis. By using a product space approach we employ these results to the solving of monotone inclusion problems involving linearly composed and parallel-sum type operators and provide in this way iterative schemes where each of the maximally monotone mappings is accessed separately via its resolvent. We consider also the special instance of solving a primal-dual pair of nonsmooth convex optimization problems and illustrate the theoretical results via some numerical experiments in clustering and location theory.

研究动机与目标

• 开发一种用于希尔伯特空间中单调包含问题的Douglas-Rachford分裂方法的惯性变体。
• 分析惯性Krasnosel’skiï’-Mann算法在非扩张算子不动点逼近中的收敛性。
• 将惯性框架扩展至涉及线性复合与并行和型算子的对偶分裂格式。
• 将所提出的算法应用于求解非光滑凸优化问题的对偶对。
• 通过聚类和位置理论中的数值实验验证理论结果。

提出的方法

• 提出一种惯性Krasnosel’skiï’-Mann算法，利用前两次迭代来加速收敛至非扩张算子的不动点。
• 将惯性Krasnosel’skiï’-Mann格式应用于极大单调算子的反射预解算子的复合，推导出惯性Douglas-Rachford算法。
• 采用乘积空间方法处理涉及线性复合与并行和型算子的单调包含问题。
• 推导出一种惯性对偶分裂算法，通过各算子的预解算子实现对偶变量与原始变量的解耦。
• 利用Moreau分解公式在对偶形式中计算共轭函数的近端点。
• 在广义Heron问题和带单位球与框约束的位置理论问题上验证了该算法。

实验结果

研究问题

• RQ1 能否为希尔伯特空间中的单调包含问题开发并证明一种惯性Douglas-Rachford分裂方法的收敛性？
• RQ2 与经典版本相比，惯性Krasnosel’skiï’-Mann算法在收敛速度方面有何改进？
• RQ3 惯性Douglas-Rachford格式能否扩展至处理涉及线性复合与并行和型算子的单调包含问题？
• RQ4 所提出的惯性对偶算法在非光滑凸优化问题中与经典方法和次梯度法相比表现如何？
• RQ5 在聚类和位置理论等实际应用中，惯性方法是否能实现更快的收敛？

主要发现

• 在适当的参数条件下，惯性Douglas-Rachford算法可实现弱收敛与强收敛，扩展了经典收敛结果。
• 对于 $ n=3 $, $ m=5 $ 的广义Heron问题，算法15在 $ \varepsilon = 10^{-5} $ 条件下仅用0.01秒、16次迭代即实现收敛，优于高维情况下的次梯度法。
• 在 $ n=2 $, $ m=50 $ 的情形下，次梯度法耗时16.78秒才达到 $ \varepsilon = 10^{-10} $，而算法15与非惯性Douglas-Rachford方法均在1秒内完成。
• 惯性对偶算法在各类问题实例中表现出稳健性能，即使在维度和集合数量增加时，计算时间仍保持较低水平。
• 在 $ n=3 $, $ m=50 $ 的情形下，算法15在0.01秒内、19次迭代内达到 $ \varepsilon = 10^{-5} $，表现出高效率。
• 该方法成功解决了经典对偶方法因缺乏强凸性而失效的问题，通过惯性与分解结构避免了此类要求。