[论文解读] A Forward-Backward Splitting Method for Monotone Inclusions Without Cocoercivity

Yura Malitsky, Matthew K. Tam|arXiv (Cornell University)|Aug 13, 2018

Numerical methods in inverse problems参考文献 32被引用 14

一句话总结

本文提出了一种用于单调包含问题的新型前向-后向分裂方法，该方法在不需单值算子具利普希茨连续性（cocoercivity）的条件下实现收敛，且每轮迭代仅需一次前向评估——与Tseng方法不同，后者需两次。该方法在与Tseng方法相同的温和假设下实现收敛，同时在实际效率上有所提升，且保持弱收敛至解。

ABSTRACT

In this work, we propose a simple modification of the forward-backward splitting method for finding a zero in the sum of two monotone operators. Our method converges under the same assumptions as Tseng's forward-backward-forward method, namely, it does not require cocoercivity of the single-valued operator. Moreover, each iteration only requires one forward evaluation rather than two as is the case for Tseng's method. Variants of the method incorporating a linesearch, relaxation and inertia, or a structured three operator inclusion are also discussed.

研究动机与目标

• 开发一种前向-后向分裂方法，使其在不需单值算子具利普希茨连续性条件下对单调包含问题实现收敛。
• 通过每轮迭代仅使用一次前向评估，降低计算成本，优于Tseng方法所需的两次评估。
• 将方法扩展至包含线搜索、松弛、惯性及结构化三算子包含问题。
• 在最小假设下提供收敛性分析，其条件与已知最弱的Tseng方法条件一致。
• 探讨与不动点理论的联系，并为未来工作考虑加速方案。

提出的方法

• 该方法每轮迭代使用单次单值算子B的前向评估，以及一次A的预解算子的后向评估。
• 引入一种改进的前向-反射-后向步骤，通过引入前一梯度评估的反射项以稳定收敛。
• 算法表示为 $ x_{k+1} = J_{\lambda A}(x_k - \lambda B(x_k) + \lambda (B(x_k) - B(x_{k-1}))) $，结合了过去与当前的梯度信息。
• 通过一个李雅普诺夫函数 $ \varphi_k $ 建立收敛性，该函数在给定假设下被证明为上鞅。
• 通过适当修改更新规则，将方法扩展至包含线搜索、松弛、惯性及结构化三算子包含问题。
• 未来方向考虑随机化与坐标扩展，利用大规模场景下B的低成本近似。

实验结果

研究问题

• RQ1 能否设计一种前向-后向方法，使其在不需单值算子具利普希茨连续性条件下实现收敛？
• RQ2 是否可能仅通过每轮迭代一次前向评估实现收敛，同时保持与Tseng方法相同的收敛保证？
• RQ3 反射梯度项在弱假设下对稳定收敛起到何种作用？
• RQ4 如何将该方法适配以支持松弛、惯性或结构化三算子包含问题？
• RQ5 该方法能否扩展至随机或坐标下降变体，以应对大规模问题？

主要发现

• 所提方法在与Tseng方法相同的假设下，弱收敛至单调包含 $ 0 \in (A + B)(x) $ 的解，且无需B具利普希茨连续性。
• 通过李雅普诺夫函数 $ \varphi_k $ 建立收敛性，该函数在给定假设下为上鞅，意味着迭代序列几乎必然收敛，且相邻迭代差趋于零。
• 该方法仅需每轮一次前向评估即可实现收敛，优于Tseng方法所需的两次，从而降低计算成本。
• 序列 $ (x_k) $ 几乎必然有界，且所有弱序列聚点均属于 $ (A + B)^{-1}(0) $，意味着弱收敛至解。
• 该方法可通过适当的单调包含重表述，适用于凸优化、鞍点问题与变分不等式。
• 分析表明存在加速与随机扩展的潜力，而不动点解释仍为未来研究的开放方向。