[论文解读] Forward-Backward-Half Forward Algorithm with non Self-Adjoint Linear Operators for Solving Monotone Inclusions

Luis M. Briceño-Arias, Damek Davis|arXiv (Cornell University)|Mar 9, 2017

Optimization and Variational Analysis被引用 4

一句话总结

本文提出了一种新颖的前向-后向-半前向算法，用于求解涉及三个算子的单调包含问题——极大单调算子、连续单调算子和共轭错误算子，通过利用共轭错误性将算子评估次数减少至每次迭代一次，统一了Tseng方法与前向-后向分裂法。此外，还引入了一种预处理变体，采用非自伴线性算子，支持块三角结构，并推广了现有的原始-对偶方法。

ABSTRACT

Tseng's algorithm finds a zero of the sum of a maximally monotone operator and a monotone continuous operator by evaluating the latter twice per iteration. In this paper, we modify Tseng's algorithm for finding a zero of the sum of three operators, where we add a cocoercive operator to the inclusion. Since the sum of a cocoercive and a monotone-Lipschitz operator is monotone and Lipschitz, we could use Tseng's method for solving this problem, but implementing both operators twice per iteration and without taking into advantage the cocoercivity property of one operator. Instead, in our approach, although the {continuous monotone} operator must still be evaluated twice, we exploit the cocoercivity of one operator by evaluating it only once per iteration. Moreover, when the cocoercive or {continuous-monotone} operators are zero it reduces to Tseng's or forward-backward splittings, respectively, unifying in this way both algorithms. In addition, we provide a {preconditioned} version of the proposed method including non self-adjoint linear operators in the computation of resolvents and the single-valued operators involved. This approach allows us to {also} extend previous variable metric versions of Tseng's and forward-backward methods and simplify their conditions on the underlying metrics. We also exploit the case when non self-adjoint linear operators are triangular by blocks in the primal-dual product space for solving primal-dual composite monotone inclusions, obtaining Gauss-Seidel type algorithms which generalize several primal-dual methods available in the literature. Finally we explore {applications to the obstacle problem, Empirical Risk Minimization, distributed optimization and nonlinear programming and we illustrate the performance of the method via some numerical simulations.

研究动机与目标

• 开发一种高效算法，用于求解涉及三个算子的单调包含问题：极大单调算子、连续单调算子和共轭错误算子。
• 通过利用共轭错误性，将共轭错误算子的每次迭代评估次数从两次减少至一次。
• 当其中一个算子为零时，使Tseng方法与前向-后向分裂法成为该方法的特例。
• 通过在预处理和单值算子计算中引入非自伴线性算子，推广变量度量方法。
• 通过在原始-对偶乘积空间中利用块三角结构，推广现有原始-对偶方法。

提出的方法

• 该算法将前向-后向-半前向框架应用于三个算子之和：一个极大单调算子、一个连续单调算子和一个共轭错误算子。
• 每次迭代中，对连续单调算子评估两次，但仅对共轭错误算子评估一次，通过利用其共轭错误性提升效率。
• 预处理变体在预处理和算子评估中使用非自伴线性算子，推广了先前的变量度量方法。
• 该方法允许在原始-对偶乘积空间中采用块三角线性算子，支持高斯-赛德尔型迭代。
• 该算法基于单调算子理论推导，其收敛性在标准单调性与利普希茨连续性假设下得到证明。
• 通过引入非自伴算子，简化了变量度量方法中的度量条件。

实验结果

研究问题

• RQ1 能否将前向-后向-半前向方法扩展至三算子单调包含问题，同时减少共轭错误算子的评估次数？
• RQ2 如何在不损害收敛性的前提下，将非自伴线性算子整合进单调包含问题的预处理分裂方法中？
• RQ3 所提出的算法以何种方式统一了Tseng方法与前向-后向分裂法作为特例？
• RQ4 能否利用原始-对偶乘积空间中的块三角结构，推导出高斯-赛德尔型原始-对偶算法？
• RQ5 该方法在障碍问题与分布式优化等应用中求解复合单调包含问题时有何实际影响？

主要发现

• 所提算法每次迭代仅评估一次共轭错误算子，相比标准Tseng型方法（需两次评估）效率更高。
• 当共轭错误算子为零时，该方法退化为Tseng算法；当连续单调算子为零时，退化为前向-后向分裂法，从而统一了两种方法。
• 采用非自伴线性算子的预处理版本推广了现有变量度量方法，并简化了其收敛条件。
• 在原始-对偶乘积空间中利用块三角结构，支持高斯-赛德尔型迭代，扩展了多种已知原始-对偶方法。
• 数值模拟表明，该方法在障碍问题、经验风险最小化、分布式优化与非线性规划中均表现出良好的收敛性能，具有竞争力。