[论文解读] Accelerated gradient methods combining Tikhonov regularization with geometric damping driven by the Hessian

Hédy Attouch, Aïcha Balhag+2 more|arXiv (Cornell University)|Mar 10, 2022

Numerical methods in inverse problems被引用 2

一句话总结

本文提出了一种新颖的阻尼惯性梯度动力系统，将Tikhonov正则化与Hessian驱动阻尼相结合，用于希尔伯特空间中的凸优化。通过调节正则化参数ε(t)使其衰减至零，并采用与√ε(t)成比例的粘性阻尼系数，该方法实现了函数值和梯度快速收敛至零，同时确保强收敛至最小范数最小化解——在振荡控制和收敛速度方面优于标准的Nesterov型方法。

ABSTRACT

In a Hilbert setting, for convex differentiable optimization, we consider accelerated gradient dynamics combining Tikhonov regularization with Hessian-driven damping. The Tikhonov regularization parameter is assumed to tend to zero as time tends to infinity, which preserves equilibria. The presence of the Tikhonov regularization term induces a strong convexity property which vanishes asymptotically. To take advantage of the exponential convergence rates attached to the heavy ball method in the strongly convex case, we consider the inertial dynamic where the viscous damping coefficient is taken proportional to the square root of the Tikhonov regularization parameter, and therefore also converges towards zero. Moreover, the dynamic involves a geometric damping which is driven by the Hessian of the function to be minimized, which induces a significant attenuation of the oscillations. Under an appropriate tuning of the parameters, based on Lyapunov's analysis, we show that the trajectories have at the same time several remarkable properties: they provide fast convergence of values, fast convergence of gradients towards zero, and strong convergence to the minimum norm minimizer. This study extends a previous paper by the authors where similar issues were examined but without the presence of Hessian driven damping.

研究动机与目标

• 开发一种阻尼惯性动力系统，以在凸优化中加速收敛，同时确保强收敛至最小范数解。
• 通过引入曲率感知阻尼，解决标准Nesterov型方法的局限性，特别是振荡和梯度收敛缓慢的问题。
• 统一重球法（在强凸情况下实现指数收敛）与Tikhonov正则化的优势，适用于渐近弱凸问题。
• 通过李雅普诺夫分析，为具有时变阻尼和正则化的非自治系统建立理论收敛保证。
• 将框架扩展至非光滑和结构化凸问题，包括“光滑 + 非光滑”复合优化问题。

提出的方法

• 该方法采用二阶阻尼惯性动力系统（TRISH），其中粘性阻尼系数与√ε(t)成比例，Tikhonov正则化项ε(t)x(t)确保渐近消失的强凸性。
• 引入Hessian驱动阻尼项β∇²f(x(t))ẋ(t)，通过基于曲率信息校正速度来主动抑制振荡。
• 采用李雅普诺夫函数方法进行系统分析，当f为凸且下确界连续时，导出涉及次微分的的一阶形式。
• 假设时变参数ε(t)为非增且C¹函数，且满足limₜ→∞ ε(t) = 0，从而在保持平衡点的同时实现快速收敛。
• 将动力系统离散化以获得具有快速收敛速率的算法，并通过极大单调性理论建立解的存在性与唯一性。
• 通过用次微分替代梯度，将框架扩展至非光滑凸函数，从而适用于复合与结构化优化问题。

实验结果

研究问题

• RQ1 Tikhonov正则化与Hessian驱动阻尼相结合，能否在凸优化中加速收敛，同时确保强收敛至最小范数解？
• RQ2 Hessian驱动阻尼在病态条件或非强凸问题中如何影响振荡抑制？
• RQ3 何种参数调节策略（特别是ε(t)和δ）可确保函数值、梯度和迭代序列同时快速收敛至最小范数最小化解？
• RQ4 在非自治、正则化参数趋于零的设定下，重球法的指数收敛速率能否在渐近意义下得以保持？
• RQ5 该动力系统在多大程度上可扩展至非光滑和复合凸优化问题？

主要发现

• 所提出的动力系统（TRISH）确保目标函数值快速收敛至其最小值，趋近于最优的Nesterov型收敛速率。
• 梯度∇f(x(t))以快速速率收敛至零，这是对标准加速方法的重要改进。
• 轨迹强收敛于最小范数解，这一性质在标准Nesterov或Polyak型方法中无法保证。
• Hessian驱动阻尼项能有效抑制振荡，特别是在病态问题中，通过根据局部曲率自适应调节阻尼。
• 在强凸情形下，系统实现指数收敛速率，且通过Tikhonov正则化使ε(t) → 0，该速率在渐近意义下得以保持。
• 理论框架通过次微分形式可扩展至非光滑凸函数，确保柯西问题强解的存在性与唯一性。