[论文解读] Douglas-Rachford splitting for a Lipschitz continuous and a strongly monotone operator

Walaa M. Moursi, Lieven Vandenberghe|arXiv (Cornell University)|May 23, 2018

Optimization and Variational Analysis参考文献 28被引用 6

一句话总结

本文在其中一个算子为利普希茨连续、另一个算子为强单调的设定下，建立了Douglas–Rachford分裂法的线性收敛性——扩展了以往要求共轭单调性（cocoercivity）的研究结果。主要贡献是在这种非对称设定下，给出了明确且紧致的线性收敛速率，适用于涉及斜对称映射的原始-对偶优化问题。

ABSTRACT

The Douglas-Rachford method is a popular splitting technique for finding a zero of the sum of two subdifferential operators of proper closed convex functions; more generally two maximally monotone operators. Recent results concerned with linear rates of convergence of the method require additional properties of the underlying monotone operators, such as strong monotonicity and cocoercivity. In this paper, we study the case when one operator is Lipschitz continuous but not necessarily a subdifferential operator and the other operator is strongly monotone. This situation arises in optimization methods which involve primal-dual approaches. We provide new linear convergence results in this setting.

研究动机与目标

• 在其中一个算子为利普希茨连续、另一个为强单调的设定下，建立Douglas–Rachford算法的线性收敛性，该设定尚未被先前研究完全覆盖。
• 弥补现有理论中的空白：以往的收敛速率仅在共轭单调性或对称性假设下已知。
• 为这一非对称情形提供一个紧致且明确的收敛速率表达式，优于已知的界。
• 将理论结果应用于凸优化中的原始-对偶Douglas–Rachford方法，特别是当其中一个算子为斜对称线性映射时。

提出的方法

• 分析利用了反射预解算子的性质，并通过算子的预解算子和反射预解算子重新参数化Douglas–Rachford迭代。
• 通过矩阵表示，建立了算子性质（利普希茨连续性、强单调性）与相应预解算子及反射预解算子性质之间的等价关系。
• 在给定假设下，通过分析迭代算子的谱性质推导出收敛速率。
• 一个关键技术步骤是利用利普希茨常数β和强单调性参数µ，对迭代算子的范数进行有界估计。
• 收敛速率表达式以β、µ和原始-对偶应用中的算子范数∥L∥为参数导出。
• 通过将方法应用于一个涉及斜对称线性算子和次梯度项的原始-对偶包含问题，对方法进行了验证。

实验结果

研究问题

• RQ1 当其中一个算子为利普希茨连续、另一个为强单调时，是否可以在不依赖共轭单调性或对称性假设的前提下，建立Douglas–Rachford方法的线性收敛性？
• RQ2 在此非对称设定下，紧致的线性收敛速率是什么？其如何依赖于利普希茨常数和强单调性参数？
• RQ3 当利普希茨算子不是次梯度算子（如斜对称线性映射）时，收敛速率如何变化？
• RQ4 该理论速率是否可应用于并验证于原始-对偶优化场景中？
• RQ5 收敛速率是否能对步长参数γ进行有效优化？

主要发现

• 当其中一个算子为利普希茨连续、另一个为强单调时，Douglas–Rachford方法可实现线性收敛，且收敛速率是紧致的，即使利普希茨算子不是次梯度算子亦成立。
• 收敛速率表达式为 r = 1/(2(1+µ)) × [√(2µ² + 2µ + 1) + 2(1 − 2(1 + ∥L∥²)⁻¹)½ µ(1 + µ) + 1]，为显式表达式，依赖于µ和∥L∥。
• 该速率在算子间不对称，且当强单调算子被替换为利普希茨算子时，该结果不成立，除非后者为线性算子。
• 在原始-对偶设定下，该方法对所有迭代变量（原始变量、对偶变量及原始-对偶变量）均以相同速率实现线性收敛。
• 一般情况下，无法轻易对步长参数γ进行优化，如优化γ时导出的五次方程所示。
• 本研究通过覆盖利普希茨连续性替代共轭单调性的新情形，扩展了Giselsson的理论框架，为分裂方法提供了更广泛的理论基础。