[論文レビュー] Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution

Hédy Attouch, Szilárd Csaba László|arXiv (Cornell University)|Apr 24, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用数 8

ひとこと要約

本稿では、消えるチホノフ正則化と正則化パラメータの平方根に比例する減衰を組み合わせた、新しい慣性的ダイナミクスとその一次のアルゴリズムを提案する。この手法により、凸最適化問題の最小ノルム解への高速かつ強い収束が可能になる。標準的なネステロフの加速勾配法の限界を克服し、最適値への迅速な収束に加え、最小ノルムの最小化子への収束を保証する。

ABSTRACT

In a Hilbertian framework, for the minimization of a general convex differentiable function $f$, we introduce new inertial dynamics and algorithms that generate trajectories and iterates that converge fastly towards the minimizer of $f$ with minimum norm. Our study is based on the non-autonomous version of the Polyak heavy ball method, which, at time $t$, is associated with the strongly convex function obtained by adding to $f$ a Tikhonov regularization term with vanishing coefficient $ε(t)$. In this dynamic, the damping coefficient is proportional to the square root of the Tikhonov regularization parameter $ε(t)$. By adjusting the speed of convergence of $ε(t)$ towards zero, we will obtain both rapid convergence towards the infimal value of $f$, and the strong convergence of the trajectories towards the element of minimum norm of the set of minimizers of $f$. In particular, we obtain an improved version of the dynamic of Su-Boyd-Candès for the accelerated gradient method of Nesterov. This study naturally leads to corresponding first-order algorithms obtained by temporal discretization. In the case of a proper lower semicontinuous and convex function $f$, we study the proximal algorithms in detail, and show that they benefit from similar properties.

研究の動機と目的

• 解集合が非一意である場合に、凸最適化において最小ノルム解への高速収束を達成する挑戦に取り組む。
• 標準的な加速勾配法の限界を克服する。これらの手法は最小化子に収束するが、必ずしも最小ノルムの最小化子に収束するとは限らない。
• チホノフ正則化と慣性的ダイナミクスを統合し、高速収束と最小ノルム解への強い収束の両立を図る。
• 連続時間ダイナミクスとその離散時間版を構築し、時間離散化下でも望ましい収束性を保つ。
• モラウエンVELOPとプロキシマルアルゴリズムを用いて非滑らか凸関数へと枠組みを拡張し、収束保証を維持する。

提案手法

• 正則化パラメータ ε(t) と減衰係数 δ√ε(t) が t → ∞ で消える非自励な二階微分方程式（TRIGS）を提案する。
• リャプノフに基づく解析を用いて、fₜ が μ-強凸である一時的段階において、目的関数誤差 f(x(t)) − min f = O(e^−√μ t) の指数的減衰を証明する。
• 時間離散化を適用し、モラウエンVELOP fₗₐₘb𝒹a を用いて非滑らか凸関数に対する慣性的プロキシマルアルゴリズム（IPATRE-NS）を導出する。
• 離散列の安定性と収束を保証するため、外挿ステップに α > 3 の緩和パラメータを導入する。
• プロキシマル微積分の恒等式を活用し、離散アルゴリズムを元の関数 f 及びそのプロキシマル写像を用いて表現する。
• 消えるチホノフ正則化の階層的最小化性を活用し、最小ノルム最小化子への強い収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 消えるチホノフ正則化を有する慣性的ダイナミクスは、最適値への高速収束と最小ノルム解への強い収束の両方を達成できるか？
• RQ2 時間経過に伴い減衰係数と正則化パラメータをどのように調整すれば、迅速な収束と最小ノルム最小化子への収束の両立が達成できるか？
• RQ3 連続時間ダイナミクスを離散化して、連続系の収束性を保つ一次のアルゴリズムにできるか？
• RQ4 非滑らか凸関数に対して、収束速度および最小ノルム解への強い収束性はどの程度保たれるか？
• RQ5 本手法はネステロフの加速勾配法や他の慣性的スキームと比較して、収束速度および解の品質においてどのように優れているか？

主な発見

• 提案されたダイナミクス（TRIGS）は、fₜ が μ-強凸である一時的段階において、f(x(t)) − min f = O(e^−√μ t) を満たす。
• ε(t) → 0 かつ ∫₀^∞ ε(t) dt = ∞ を満たす限り、連続的軌道 x(t) は t → ∞ で argmin f の最小ノルム解に強く収束する。
• 離散的慣性的プロキシマルアルゴリズム（IPATRE-NS）は、α > 3 の下で f(prox_λf(xₖ)) − min f に対して o(k^−2s) の収束速度（s ∈ [1/2, 1)）を達成する。
• 列 (xₖ) は ∑ₖ k^{2s−1} (f(prox_λf(xₖ)) − min f) < ∞ を満たし、誤差の可 summable な減衰を示す。
• 列 (xₖ) が適切な球 B(0, ||x*||) 内または外に最終的に位置する場合、反復列 (xₖ) は最小ノルム最小化子 x* に強く収束する。
• 本手法は、ネステロフの加速勾配法を改善し、最小ノルム最小化子への強い収束を保証する。最小化子への収束ではなく、最小ノルム最小化子への収束を保証する。