[论文解读] Linear convergence of the generalized PPA and several splitting methods for the composite inclusion problem

Li Shen, Shaohua Pan|arXiv (Cornell University)|Aug 21, 2015

Optimization and Variational Analysis参考文献 48被引用 4

一句话总结

本文为广义邻近点算法（PPA）及若干分裂方法——过松弛前向-后向分裂、广义Douglas-Rachford分裂和三算子分裂——在涉及两个最大单调算子与一个共利算子的复合包含问题上建立了线性收敛性。关键贡献在于在复合算子的度量次正则性条件（而非强单调性）下证明了线性收敛，显著放宽了以往假设的严格性。

ABSTRACT

For the inclusion problem involving two maximal monotone operators, under the metric subregularity of the composite operator, we derive the linear convergence of the generalized proximal point algorithm and several splitting algorithms, which include the over-relaxed forward-backward splitting algorithm, the generalized Douglas-Rachford splitting algorithm and Davis' three-operator splitting algorithm. To the best of our knowledge, this linear convergence condition is weaker than the existing ones that almost all require the strong monotonicity of the composite operator. Withal, we give some sufficient conditions to ensure the metric subregularity of the composite operator. At last, the preliminary numerical performances on some toy examples support the theoretical results.

研究动机与目标

• 为广义PPA及求解复合包含问题的流行分裂算法建立线性收敛速率。
• 将复合算子强单调性的标准假设弱化为更一般的度量次正则性条件。
• 提供确保复合算子在解处度量次正则性的充分条件。
• 通过在简单示例上的初步数值实验验证理论结果。
• 将分裂方法的适用范围扩展至强单调设定之外的更广泛凸优化问题类别。

提出的方法

• 分析依赖于复合算子 F = A + B + C 在解点 (z*, 0) 处的度量次正则性，该条件被证明可推出广义PPA的线性收敛。
• 将广义PPA应用于包含问题 0 ∈ F(z)，在 F 的度量次正则性条件下证明了收敛性。
• 在相同的度量次正则性条件下分析了过松弛前向-后向分裂（FBS）与广义Douglas-Rachford分裂（DRS）。
• 还将Davis和Yin提出的三算子分裂算法扩展至度量次正则性设定，确保线性收敛。
• 理论结果通过将标准优化问题（如 ℓ₁/ℓ₁ 和 ℓₚ 正则化）重新表述为复合包含问题的特例得到支持。
• 在 ℓ₁/ℓ₁ 和 ℓₚ 正则化问题上的数值实验表明，算法实现了线性收敛，验证了理论分析。

实验结果

研究问题

• RQ1 能否在弱于强单调性的条件下，建立广义PPA与分裂方法的线性收敛性？
• RQ2 复合算子 F 的度量次正则性是否足以保证这些算法的线性收敛？
• RQ3 在解处确保 F 的度量次正则性的充分条件是什么？
• RQ4 在 ℓ₁/ℓ₁ 和 ℓₚ 正则化等实际问题上，这些算法的数值表现如何？
• RQ5 理论收敛结果能否扩展至三算子分裂框架？

主要发现

• 在复合算子 F 的度量次正则性条件下，建立了广义PPA的线性收敛性，该条件严格弱于强单调性。
• 当 F 在解处具有度量次正则性时，过松弛前向-后向分裂算法实现线性收敛。
• 在相同的度量次正则性假设下，广义Douglas-Rachford分裂算法也表现出线性收敛。
• Davis和Yin提出的三算子分裂算法在 F 的度量次正则性条件下同样呈现线性收敛。
• 在 ℓ₁/ℓ₁ 和 ℓₚ 正则化问题上的数值结果证实了广义DRS与过松弛FBS算法的线性收敛性，支持理论发现。
• 提供了确保 F 的度量次正则性的充分条件，包括算子为多面体或具有特定结构的情形。