[论文解读] A forward-backward-forward differential equation and its asymptotic properties

Sebastian Banert, Radu Ioan Boţ|arXiv (Cornell University)|Mar 26, 2015

Numerical methods in inverse problems参考文献 17被引用 20

一句话总结

本文提出了一种具有时变参数的新型隐式前向-后向-前向微分方程，用于在希尔伯特空间中求解单调包含问题，证明了强全局解的存在性与唯一性。该研究建立了轨迹的弱收敛性，并在强单调性条件下实现了指数收敛；对于凸优化问题，给出了目标函数值的 ergodic 平均值向最小值收敛的 O(1/t) 收敛速率。

ABSTRACT

In this paper, we approach the problem of finding the zeros of the sum of a maximally monotone operator and a monotone and Lipschitz continuous one in a real Hilbert space via an implicit forward-backward-forward dynamical system with nonconstant relaxation parameters and stepsizes of the resolvents. Besides proving existence and uniqueness of strong global solutions for the differential equation under consideration, we show weak convergence of the generated trajectories and, under strong monotonicity assumptions, strong convergence with exponential rate. In the particular setting of minimizing the sum of a proper, convex and lower semicontinuous function with a smooth convex one, we provide a rate for the convergence of the objective function along the ergodic trajectory to its minimum value.

研究动机与目标

• 开发一种用于求解涉及极大单调算子与单调、利普希茨连续算子的单调包含问题的连续时间动力系统。
• 分析该系统生成的轨迹的渐近行为，包括在不同假设下的弱收敛与强收敛。
• 在凸复合优化的背景下，推导目标函数的收敛速率。
• 通过李雅普诺夫分析，弥合连续动力系统与离散前向-后向-前向算法之间的差距。

提出的方法

• 系统采用时变松弛参数 γ(t) ∈ (0, β)，并通过极大单调算子的预解式定义隐式前向-后向-前向结构。
• 动力系统由包含预解式 Jγ(t)A 与涉及 B(x(t)) 和 B(z(t)) 的梯度类项的二阶微分方程控制。
• 利用柯西-利普希茨-皮卡德定理，建立了强全局解的存在性与唯一性。
• 采用李雅普诺夫函数分析收敛性，通过能量衰减证明轨迹的弱收敛性。
• 对于凸优化问题，分析了 ergodic 轨迹，以推导 f + h 的收敛速率。
• 证明了该系统的离散版本可实现相似的收敛速率，验证了连续模型作为离散算法的连续松弛的有效性。

实验结果

研究问题

• RQ1 所提出的隐式前向-后向-前向微分系统在时变参数下是否具有强全局解？
• RQ2 在何种条件下，轨迹 x(t) 弱收敛于单调包含问题 0 ∈ Ax + Bx 的解？
• RQ3 当 A + B 为强单调时，能否实现具有指数收敛速率的强收敛？
• RQ4 在凸优化中，沿 ergodic 轨迹的目标函数 f + h 可建立何种收敛速率？
• RQ5 该连续系统与离散前向-后向-前向算法在收敛行为方面有何关联？

主要发现

• 对于任意初始点 x₀ ∈ H 及勒贝格可测的松弛函数 γ(t) ∈ (0, β)，该微分系统均存在唯一的强全局解。
• 在较弱假设下，轨迹 x(t) 满足 t → ∞ 时弱收敛于单调包含问题 0 ∈ Ax + Bx 的解。
• 当 A + B 为强单调时，解轨迹以指数速率强收敛。
• 对于复合凸优化问题 min f(x) + h(x)，ergodic 轨迹以 O(1/t) 速率收敛至最小值，具体为 (f + h)(ζₜ) ≤ (f + h)(x) + ‖x₀ − x‖² / (2Γ(t))。
• 离散前向-后向-前向算法继承了类似的收敛速率，证实了连续模型与数值算法的相关性。
• 通过李雅普诺夫函数与能量衰减论证，验证了收敛分析的稳健性，提供了坚实的理论基础。