[論文レビュー] Accelerated gradient methods combining Tikhonov regularization with geometric damping driven by the Hessian

Hédy Attouch, Aïcha Balhag+2 more|arXiv (Cornell University)|Mar 10, 2022

Numerical methods in inverse problems被引用数 2

ひとこと要約

本稿では、ヒルベルト空間における凸最適化に、ティコノフ正則化とヘッシアン駆動型減衰を組み合わせた新しい減衰付き慣性勾配ダイナミクスを提案する。正則化パラメータ ε(t) を 0 に減少させるとともに、粘性減衰係数を √ε(t) に比例させるように設定することで、関数値と勾配が 0 に高速収束し、最小ノルム最小化子への強収束を保証する。これは、標準的なネステロフ型手法に比べて、振動制御と収束速度の両面で優れている。

ABSTRACT

In a Hilbert setting, for convex differentiable optimization, we consider accelerated gradient dynamics combining Tikhonov regularization with Hessian-driven damping. The Tikhonov regularization parameter is assumed to tend to zero as time tends to infinity, which preserves equilibria. The presence of the Tikhonov regularization term induces a strong convexity property which vanishes asymptotically. To take advantage of the exponential convergence rates attached to the heavy ball method in the strongly convex case, we consider the inertial dynamic where the viscous damping coefficient is taken proportional to the square root of the Tikhonov regularization parameter, and therefore also converges towards zero. Moreover, the dynamic involves a geometric damping which is driven by the Hessian of the function to be minimized, which induces a significant attenuation of the oscillations. Under an appropriate tuning of the parameters, based on Lyapunov's analysis, we show that the trajectories have at the same time several remarkable properties: they provide fast convergence of values, fast convergence of gradients towards zero, and strong convergence to the minimum norm minimizer. This study extends a previous paper by the authors where similar issues were examined but without the presence of Hessian driven damping.

研究の動機と目的

• 凸最適化における収束を加速するとともに、最小ノルム解への強収束を保証する減衰付き慣性ダイナミクスの開発。
• 曲率に敏感な減衰を導入することで、標準的なネステロフ型手法の限界（特に振動と勾配収束の遅さ）を克服すること。
• 強凸問題におけるヘビー・ボール法の指数的収束特性と、漸近的に弱凸問題におけるティコノフ正則化の利点を統合すること。
• 時間変動する減衰と正則化を伴う非-autonomousシステムに対して、リャプノフ解析を用いて理論的収束保証を確立すること。
• 滑らかでないおよび構造的凸問題、特に「滑らか＋滑らかでない」複合最適化問題へのフレームワークの拡張。

提案手法

• 粘性減衰係数が √ε(t) に比例する2階微分方程式に基づく減衰付き慣性ダイナミクス（TRISH）を採用し、正則化項 ε(t)x(t) により漸近的に消える強い凸性を確保する。
• ヘッシアン駆動型減衰項 β∇²f(x(t))ẋ(t) を導入し、局所的曲率情報を用いて速度を補正することで、振動を能動的に低減する。
• リャプノフ関数を用いたアプローチにより解析を行い、f が凸かつ下界連続である場合、部分微分を含む1階形式が得られる。
• 時間変動パラメータ ε(t) は非増加かつ C¹ 級であり、limₜ→∞ ε(t) = 0 を満たすと仮定し、均衡点を保存しつつ高速収束を実現する。
• ダイナミクスを離散化することで、収束速度が速いアルゴリズムが得られ、解の存在・一意性は最大単調性理論により確立される。
• 勾配を部分微分に置き換えることで、滑らかでない凸関数に対してもフレームワークを拡張し、複合的および構造的最適化問題への応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ティコノフ正則化とヘッシアン駆動型減衰を組み合わせることで、凸最適化において最小ノルム解への強収束を保証しつつ、収束を加速できるか？
• RQ2 ヘッシアン駆動型減衰は、悪条件や強凸でない問題において振動をどの程度抑制するか？
• RQ3 特に ε(t) と δ に対して、関数値、勾配、反復点が最小ノルム最小化子に同時に高速収束するためのパラメータチューニング戦略は何か？
• RQ4 非-autonomous かつ正則化項が消える設定において、ヘビー・ボール法の指数的収束レートを漸近的に維持できるか？
• RQ5 このダイナミクスは、滑らかでないおよび複合凸最適化問題へどの程度拡張可能か？

主な発見

• 提案されたダイナミクス（TRISH）は、目的関数値が最小値に高速収束し、最適なネステロフ型レートに近づくことを保証する。
• 勾配 ∇f(x(t)) が高速なレートで 0 に収束する。これは、標準的な加速手法に比べ顕著な改善である。
• 軌道が最小ノルム解に強収束する。これは、標準的なネステロフ型やポリャク型手法では保証されない性質である。
• ヘッシアン駆動型減衰項は、特に悪条件問題において、局所的曲率に応じて減衰を適応的に調整することで、振動を効果的に抑制する。
• 強凸領域では指数的収束レートを達成し、ε(t) → 0 の下でティコノフ正則化によりそのレートが漸近的にも維持される。
• 部分微分形式を用いることで、理論的枠組みは滑らかでない凸関数へ拡張され、初期値問題に対する強解の存在と一意性が保証される。