[論文レビュー] Fast convex optimization via inertial dynamics with Hessian driven damping

Hédy Attouch, Juan Peypouquet+1 more|arXiv (Cornell University)|Jan 26, 2016

Sparse and Compressive Sensing Techniques参考文献 25被引用数 117

ひとこと要約

この論文は DIN-AVD 慣性系を分析し、vanishing damping と Hessian-driven damping を組み合わせることで凸最適化における高速収束を実現することを示し、非滑らかな拡張と離散化の影響を含む。

ABSTRACT

We first study the fast minimization properties of the trajectories of the second-order evolution equation $$\\ddot{x}(t) + \\frac{\\alpha}{t} \\dot{x}(t) + \\beta \ abla^2 \\Phi (x(t))\\dot{x} (t) + \ abla \\Phi (x(t)) = 0,$$ where $\\Phi:\\mathcal H\ o\\mathbb R$ is a smooth convex function acting on a real Hilbert space $\\mathcal H$, and $\\alpha$, $\\beta$ are positive parameters. This inertial system combines an isotropic viscous damping which vanishes asymptotically, and a geometrical Hessian driven damping, which makes it naturally related to Newton's and Levenberg-Marquardt methods. For $\\alpha\\geq 3$, $\\beta >0$, along any trajectory, fast convergence of the values $$\\Phi(x(t))- \\min_{\\mathcal H}\\Phi =\\mathcal O\\left(t^{-2}\ ight)$$ is obtained, together with rapid convergence of the gradients $\ abla\\Phi(x(t))$ to zero. For $\\alpha>3$, just assuming that $\\Phi$ has minimizers, we show that any trajectory converges weakly to a minimizer of $\\Phi$, and $ \\Phi(x(t))-\\min_{\\mathcal H}\\Phi = o(t^{-2})$. Strong convergence is established in various practical situations. For the strongly convex case, convergence can be arbitrarily fast depending on the choice of $\\alpha$. More precisely, we have $\\Phi(x(t))- \\min_{\\mathcal H}\\Phi = \\mathcal O(t^{-\\frac{2}{3}\\alpha})$. We extend the results to the case of a general proper lower-semicontinuous convex function $\\Phi : \\mathcal H \ ightarrow \\mathbb R \\cup \\{+\\infty \\}$. This is based on the fact that the inertial dynamic with Hessian driven damping can be written as a first-order system in time and space. By explicit-implicit time discretization, this opens a gate to new $-$ possibly more rapid $-$ inertial algorithms, expanding the field of FISTA methods for convex structured optimization problems.

研究の動機と目的

• 凸ポテンシャルの高速最小化を慣性の二階微分ダイナミクスを用いて動機づける。
• 減衰を徐々に小さくするダンピングと Hessian 主導のダンピングを結合する DIN-AVD 系を導入する。
• 関数値と勾配ノルムの収束速度を確立し、αとβの変化に伴う軌道収束を研究する。
• 一階再表現と時間離散化の影響を通じて、非滑らかな凸関数への枠組みの拡張を行う。

提案手法

• 二階の進化方程式を研究する： x''(t) + (α/t) x'(t) + β ∇^2Φ(x(t)) x'(t) + ∇Φ(x(t)) = 0。
• 非滑らかな Φ に対して部分微分を許す時間・空間の一階系への同値性を示す。
• エネルギー項と勾配項を包含する Lyapunov 函数 W_θ(t) を構築し、減衰推定を導く。
• α ≥ 3 および β > 0 のとき、Φ(x(t)) − minΦ = O(t^-2) という高速収束を導出。
• Opial の補題を用いて α > 3 の場合、 minimizers への弱収束を証明。
• 強凸の場合、収束はより高速になり、Φ(x(t)) − minΦ = O(t^(-2α/3)) を得る。

実験結果

リサーチクエスチョン

• RQ1 減衰を徐々に小さくするダンピングと Hessian 主導ダンピングを組み合わせた DIN-AVD ダイナミクスは、Φ(x(t)) が最小値へ高速に収束することを保証するか。
• RQ2 α ≥ 3 および α > 3 の場合の関数値と勾配の収束速度はいくつか。
• RQ3 一階再構成を通じて、非滑らかな凸目的関数へ枠組みを拡張できるか。
• RQ4 軌道が弱収束または強収束して最小化点に収束する条件は何か。
• RQ5 DIN-AVD に触発された離散化は、FISTA 系とどう関係し拡張するか。

主な発見

• α ≥ 3 および β > 0 のとき Φ(x(t)) は minΦ に O(t^-2) の速さで収束する。
• α > 3 の場合、各軌道は弱収束して最小点へ収束し、Φ(x(t)) − minΦ = o(t^-2)。
• 強凸の場合、収束速度は任意に高速化可能で、Φ(x(t)) − minΦ = O(t^(-2α/3)) を満たす。
• 慣性 Hessian-driven ダンピングの枠組みは、一階系として再構成可能で、非滑らかな凸 Φ への拡張を可能にする。
• DIN-AVD の時刻離散化は、FISTA 系を拡張する新しい高速慣性アルゴリズムを示唆する。