[论文解读] An inertial forward-backward-forward primal-dual splitting algorithm for solving monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek|arXiv (Cornell University)|Feb 21, 2014

Optimization and Variational Analysis参考文献 26被引用 7

一句话总结

本文提出了一种用于求解涉及最大单调算子和利普希茨连续算子的单调包含问题的惯性前向-后向-前向原始-对偶分裂算法。通过利用惯性动力学和乘积空间重构，该方法在温和条件下确保弱收敛至解，且在一致凸性假设下保证强收敛，提供了一种完全可分解的前向-后向型方案，适用于包括线性复合型和并联和型在内的复杂单调算子结构。

ABSTRACT

We introduce and investigate the convergence properties of an inertial forward-backward-forward splitting algorithm for approaching the set of zeros of the sum of a maximally monotone operator and a single-valued monotone and Lipschitzian operator. By making use of the product space approach, we expand it to the solving of inclusion problems involving mixtures of linearly composed and parallel-sum type monotone operators. We obtain in this way an inertial forward-backward-forward primal-dual splitting algorithm having as main characteristic the fact that in the iterative scheme all operators are accessed separately either via forward or via backward evaluations. We present also the variational case when one is interested in the solving of a primal-dual pair of convex optimization problems with intricate objective functions.

研究动机与目标

• 为希尔伯特空间中最大单调算子与单调、利普希茨连续算子之和的单调包含问题，设计一种惯性前向-后向-前向算法。
• 通过乘积空间方法，将算法扩展至涉及线性复合型与并联和型算子混合的原始-对偶单调包含问题。
• 通过分别以前向或后向步骤访问每个算子，确保完全可分解性，从而支持实际实现。
• 利用广义费耶尔单调性技术与惯性外推法，建立收敛性性质。
• 将该框架应用于具有复杂结构目标函数的凸优化问题，包括含线性映射和下确界卷积的类型。

提出的方法

• 该算法采用基于前两次迭代的惯性外推，以加速收敛，灵感来源于二阶动力系统。
• 采用前向-后向-前向方案：对单值利普希茨连续算子执行前向步骤，对最大单调算子通过其预解算子执行后向步骤。
• 乘积空间方法将原始-对偶包含问题重构为乘积希尔伯特空间中的结构化单调包含问题，从而实现对算子的独立评估。
• 该方法在原始变量与对偶变量中均引入惯性参数 α₁,n 和 α₂,n，其增长与有界性满足收敛条件。
• 通过芬切尔-洛克菲拉对偶性将算法应用于凸优化，将原始-对偶对转化为涉及共轭函数与线性算子的单调包含问题。
• 关键组件包括 f 和 g_i^* 的近亲映射、h 和 l_i^* 的梯度，以及线性算子 L_i^* 的伴随算子。

实验结果

研究问题

• RQ1 能否为涉及最大单调算子与利普希茨连续算子的单调包含问题，设计并证明一种惯性前向-后向-前向算法的收敛性？
• RQ2 如何将惯性动力学整合进原始-对偶分裂格式中，同时保持完全可分解性与收敛性？
• RQ3 在何种条件下，该算法可实现对解的强收敛？
• RQ4 所提方法能否处理如线性复合型与并联和型等复杂算子结构？
• RQ5 当应用于具有非光滑与非强凸目标函数的凸优化问题时，该方法的收敛性保证为何？

主要发现

• 该算法确保迭代序列 x_n 与 v_i,n 弱收敛至满足原始-对偶对最优性条件的解 (x̄, v̄_1, ..., v̄_m)。
• 级数 ∑‖x_{n+1}−x_n‖²、∑‖x_n−p_{1,n}‖²、∑‖v_{i,n+1}−v_{i,n}‖² 与 ∑‖v_{i,n}−p_{2,i,n}‖² 均为有限值，表明具有渐近稳定性。
• 若 f+h 为一致凸，则 x_n 强收敛至 x̄；若 g_i^*+l_i^* 为一致凸，则 v_i,n 强收敛至 v̄_i。
• 收敛条件要求 λ_n 远离零，且 α_1,n、α_2,n 为非递减序列，满足 α_1,n, α_2,n ≤ α_1, α_2，且 12α₂² + 9(α₁+α₂) + 4σ < 1。
• 在满足包含约束的相对内部某点存在的正则性条件下，该算法仍适用。
• 该方法通过引入惯性项，推广了岑茨的前向-后向-前向与原始-对偶分裂格式，使其可应用于非余割算子。