[논문 리뷰] Fast convex optimization via inertial dynamics with Hessian driven damping

Hédy Attouch, Juan Peypouquet외 1명|arXiv (Cornell University)|2016. 01. 26.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 117

한 줄 요약

본 논문은 소멸하는 감쇠와 Hessian-driven 감쇠를 결합한 DIN-AVD 관성 시스템이 볼록 최적화에서 빠른 수렴을 달성하는지 분석하고, 비평활(non-smooth) 확장 및 이산화의 함의까지 다룬다.

ABSTRACT

We first study the fast minimization properties of the trajectories of the second-order evolution equation $$\\ddot{x}(t) + \\frac{\\alpha}{t} \\dot{x}(t) + \\beta \ abla^2 \\Phi (x(t))\\dot{x} (t) + \ abla \\Phi (x(t)) = 0,$$ where $\\Phi:\\mathcal H\ o\\mathbb R$ is a smooth convex function acting on a real Hilbert space $\\mathcal H$, and $\\alpha$, $\\beta$ are positive parameters. This inertial system combines an isotropic viscous damping which vanishes asymptotically, and a geometrical Hessian driven damping, which makes it naturally related to Newton's and Levenberg-Marquardt methods. For $\\alpha\\geq 3$, $\\beta >0$, along any trajectory, fast convergence of the values $$\\Phi(x(t))- \\min_{\\mathcal H}\\Phi =\\mathcal O\\left(t^{-2}\ ight)$$ is obtained, together with rapid convergence of the gradients $\ abla\\Phi(x(t))$ to zero. For $\\alpha>3$, just assuming that $\\Phi$ has minimizers, we show that any trajectory converges weakly to a minimizer of $\\Phi$, and $ \\Phi(x(t))-\\min_{\\mathcal H}\\Phi = o(t^{-2})$. Strong convergence is established in various practical situations. For the strongly convex case, convergence can be arbitrarily fast depending on the choice of $\\alpha$. More precisely, we have $\\Phi(x(t))- \\min_{\\mathcal H}\\Phi = \\mathcal O(t^{-\\frac{2}{3}\\alpha})$. We extend the results to the case of a general proper lower-semicontinuous convex function $\\Phi : \\mathcal H \ ightarrow \\mathbb R \\cup \\{+\\infty \\}$. This is based on the fact that the inertial dynamic with Hessian driven damping can be written as a first-order system in time and space. By explicit-implicit time discretization, this opens a gate to new $-$ possibly more rapid $-$ inertial algorithms, expanding the field of FISTA methods for convex structured optimization problems.

연구 동기 및 목표

• 관성 제2차 동역학을 사용하여 볼록 포텐셜의 빠른 최소화를 촉진한다.
• 소멸하는 감쇠와 Hessian-driven 감쇠를 결합한 DIN-AVD 시스템을 도입한다.
• 함수값과 그래디언트 노름의 수렴 속도를 확립하고, α와 β의 변화에 따른 궤적 수렴을 연구한다.
• 일차 형태로의 재표현과 시간 이산화의 함의를 통해 비평활 볼록 함수로 프레임워크를 확장한다.

제안 방법

• 2차 진화 방정식 연구: x''(t) + (α/t) x'(t) + β ∇^2Φ(x(t)) x'(t) + ∇Φ(x(t)) = 0.
• 비평활 Φ에 대한 부분도함수를 허용하는 시간 및 공간의 1차 시스템 등가를 보인다.
• 에너지와 그래디언트 항을 포함하는 Lyapunov 함수 W_θ(t)을 개발하여 감소 추정치를 도출한다.
• α ≥ 3 및 β > 0일 때 Φ(x(t)) − minΦ = O(t^-2)의 빠른 수렴을 도출한다.
• α > 3일 때 Opial 보조정리에 의해 최소점에 대한 약한 수렴을 증명한다.
• 강하게 볼록한 경우 더 빠른 수렴을 얻어 Φ(x(t)) − minΦ = O(t^(-2α/3))이다.

실험 결과

연구 질문

• RQ1 소멸하는 감쇠와 Hessian-driven 감쇠를 갖는 DIN-AVD 동역학이 Φ(x(t))를 최솟값으로 빠르게 수렴시키는가?
• RQ2 α ≥ 3와 α > 3에서 함수값과 그래디언트의 수렴 속도는 무엇인가?
• RQ3 일차 재표현을 통해 비평활 볼록 목적함수로 프레임워크를 확장할 수 있는가?
• RQ4 궤도가 어떤 조건에서 약한 수렴 또는 강한 수렴으로 최소점에 수렴하는가?
• RQ5 DIN-AVD에서 영감을 얻은 이산화가 FISTA 계열 방법과 어떻게 관련되며 확장하는가?

주요 결과

• Φ(x(t))이 minΦ로의 수렴 속도는 O(t^-2)이다(α ≥ 3 및 β > 0일 때).
• α > 3일 때 모든 궤적은 약하게 최소점으로 수렴하고 Φ(x(t)) − minΦ = o(t^-2)이다.
• 강하게 볼록한 경우 수렴 속도는 임의로 빠를 수 있으며 Φ(x(t)) − minΦ = O(t^(-2α/3))이다.
• 관성 Hessian-driven 감쇠 프레임워크는 비평활 볼록 Φ로의 확장을 가능하게 하는 1차 시스템으로 재구성될 수 있다.
• DIN-AVD의 시간 이산화는 FISTA 계열을 확장하는 새로운 빠른 관성 알고리즘을 시사한다.