[论文解读] A dynamic approach to a proximal-Newton method for monotone inclusions in Hilbert spaces, with complexity O(1/n^2)

Hédy Attouch, M. Marques Alves+1 more|arXiv (Cornell University)|Feb 15, 2015

Optimization and Variational Analysis参考文献 19被引用 4

一句话总结

本文提出了一种新颖的动态系统及其相关的近似牛顿算法，用于在希尔伯特空间中求解单调包含问题，通过闭环方式动态调节正则化参数 λ(t)，使其随时间趋于无穷大。该方法在凸最小化问题中实现了最优的 O(1/t²) 收敛速率，在离散设置下实现了 O(1/n²) 的复杂度，且在误差界条件下表现出超线性收敛。

ABSTRACT

In a Hilbert setting, we introduce a new dynamical system and associated algorithms for solving monotone inclusions by rapid methods. Given a maximal monotone operator $A$, the evolution is governed by the time dependent operator $I -(I + λ(t) {A})^{-1}$, where the positive control parameter $λ(t)$ tends to infinity as $t o + \infty$. The tuning of $ λ(\cdot) $ is done in a closed-loop way, by resolution of the algebraic equation $λ orm{(I + λ{A})^{-1}x -x}=θ$, where $θ$ is a positive given constant. The existence and uniqueness of a strong global solution for the Cauchy problem follows from Cauchy-Lipschitz theorem. We prove the weak convergence of the trajectories to equilibria, and superlinear convergence under an error bound condition. When $A =\partial f$ is the subdifferential of a closed convex function $f$, we show a $\bigo(1/t^2)$ convergence property of $f(x(t))$ to the infimal value of the problem. Then, we introduce proximal-like algorithms which can be obtained by time discretization of the continuous dynamic, and which share the same fast convergence properties. As distinctive features, we allow a relative error tolerance for the solution of the proximal subproblem similar to the ones proposed in ~\cite{So-Sv1, So-Sv2}, and a large step condition, as proposed in~\cite{MS1,MS2}. For general convex minimization problems, the complexity is $\bigo(1/n^2)$. In the regular case, we show the global quadratic convergence of an associated proximal-Newton method.

研究动机与目标

• 开发一种用于求解希尔伯特空间中单调包含问题的快速收敛连续与离散动力系统。
• 通过引入正则化参数 λ(t) 的闭环控制，克服近似方法中固定或开环参数选择的局限性。
• 在凸最小化问题中实现最优的 O(1/t²) 收敛速率，在离散算法中实现 O(1/n²) 的复杂度。
• 在误差界假设下建立全局收敛性和超线性收敛性。

提出的方法

• 该方法采用由方程 $\dot{x}(t) + x(t) - (I + \lambda(t)A)^{-1}x(t) = 0$ 控制的二阶动力系统，其中 $A$ 为极大单调算子。
• 参数 $\lambda(t)$ 通过闭环条件 $\lambda(t)\| (I + \lambda(t)A)^{-1}x(t) - x(t) \| = \theta$ 实现动态调节，其中 $\theta > 0$ 为固定常数。
• 该系统确保当 $t \to \infty$ 时 $\lambda(t) \to \infty$，从而在无需事先掌握问题参数的情况下实现快速收敛。
• 对连续系统的时域离散化生成了具有相对误差容限和大步长条件的新近似类算法。
• 该方法与正则化牛顿动力学相关联，其中 $\lambda(t) \to \infty$ 对应于正则化项趋于零，从而提升收敛速度。
• 对于次微分算子 $A = \partial f$，该方法确保 $f(x(t)) - \inf f \leq C_1 / (1 + C_2 t)^2$。

实验结果

研究问题

• RQ1 能否设计一种动力系统，使得正则化参数 $\lambda(t)$ 以闭环方式自适应地趋于无穷大，从而加速单调包含问题的收敛？
• RQ2 由此产生的连续轨迹 $x(t)$ 具有哪些收敛性质，特别是收敛速率以及弱收敛/强收敛特性？
• RQ3 该连续动力系统能否被离散化为一种在凸最小化问题中具有 $\mathcal{O}(1/n^2)$ 复杂度的算法？
• RQ4 在何种条件下该方法可实现超线性收敛？误差界条件如何影响收敛速率？
• RQ5 与经典近似法和牛顿型方法相比，该方法在收敛速度和鲁棒性方面表现如何？

主要发现

• 对于任意初始值 $x_0 \notin A^{-1}(0)$，连续动力系统（LSP）具有唯一的强全局解，且满足 $\lambda(t)$ 随 $t \to \infty$ 而趋于无穷大。
• 已证明 $x(t)$ 弱收敛于 $A^{-1}(0)$ 中的解，在附加正则性条件下可实现强收敛。
• 当 $A = \partial f$ 时，目标函数满足 $f(x(t)) - \inf f \leq C_1 / (1 + C_2 t)^2$，从而证明了 $\mathcal{O}(1/t^2)$ 的收敛速率。
• 时间离散化后的算法继承了快速收敛特性，在一般凸最小化问题中实现了 $\mathcal{O}(1/n^2)$ 的复杂度。
• 在误差界条件下，该方法表现出超线性收敛，满足 $\|x(t) - x_*\| \to 0$ 的速度超过任意多项式速率。
• 在正则情况下，所关联的近似牛顿方法实现了全局二次收敛。