[논문 리뷰] Fast inertial dynamics and FISTA algorithms in convex optimization. Perturbation aspects

Hédy Attouch, Zaki Chbani|arXiv (Cornell University)|2015. 07. 06.

Optimization and Variational Analysis참고 문헌 26인용 수 13

한 줄 요약

이 논문은 볼륨 감소와 교란 조건 하에서 볼록 최적화 문제에 대해 관성 기울기 역학과 FISTA 유형 알고리즘의 빠른 수렴 속도를 확립한다. $\alpha \geq 3$ 이고 적분 가능한 교란 $g(t)$ 를 갖는 이차 미분방정식의 궤적은 $\Phi(x(t)) - \min \Phi \leq C/t^2$ 를 만족함을 증명하며, 네스테로프의 빠른 수렴 결과를 교란 조건으로 확장하고 오차 모델 하에서 이산 알고리즘의 수렴 보장을 제공한다.

ABSTRACT

In a Hilbert space setting $\mathcal H$, we study the fast convergence properties as $t o + \infty$ of the trajectories of the second-order differential equation $ \ddot{x}(t) + \fracα{t} \dot{x}(t) + abla Φ(x(t)) = g(t)$, where $ ablaΦ$ is the gradient of a convex continuously differentiable function $Φ: \mathcal H o \mathbb R$, $α$ is a positive parameter, and $g: [t_0, + \infty[ ightarrow \mathcal H$ is a "small" perturbation term. In this damped inertial system, the viscous damping coefficient $\fracα{t}$ vanishes asymptotically, but not too rapidly. For $α\geq 3$, and $\int_{t_0}^{+\infty} t \|g(t)\| dt < + \infty$, just assuming that the solution set is non empty, we show that any trajectory of the above system satisfies the fast convergence property $Φ(x(t))- \min_{\mathcal H}Φ\leq \frac{C}{t^2}$. For $α> 3$, we show that any trajectory converges weakly to a minimizer of $Φ$, and we show the strong convergence property in various practical situations. This complements the results obtained by Su-Boyd- Candès, and Attouch-Peypouquet-Redont, in the unperturbed case $g=0$. The parallel study of the time discretized version of this system provides new insight on the effect of errors, or perturbations on Nesterov's type algorithms. We obtain fast convergence of the values, and convergence of the trajectories for a perturbed version of the variant of FISTA recently considered by Chambolle-Dossal, and Su-Boyd-Candès.

연구 동기 및 목표

• 힐베르트 공간에서 점점 사라지는 점성 $\alpha/t$ 와 작은 교란 $g(t)$ 를 갖는 이차 관성 역학의 渐진적 행동을 분석한다.
• 네스테로프 방법과 FISTA의 빠른 $O(1/t^2)$ 수렴 속도를 교란 또는 알고리즘 오차가 있는 시스템으로 확장한다.
• $\alpha > 3$ 일 때 교란 조건 하에서 궤적의 약한 수렴을 최소화자로 보장하고, 미해결 상태인 $\alpha = 3$ 의 경우를 명확히 한다.
• 오차 모델 하에서 연속 시간 관성 역학과 이산 FISTA 유형 알고리즘(특히 캄볼레-도살라 버전)을 연결한다.
• 작은 교란 또는 수치 오차 하에서도 빠른 기울기 방법의 강건성을 이해하기 위한 이론적 프레임워크를 제공한다.

제안 방법

• 힐베르트 공간 $\mathcal{H}$ 에서 $\Phi$ 가 볼록이고 $\nabla\Phi$ 가 리프시츠 연속일 때, 이차 미분방정식 $\ddot{x}(t) + \frac{\alpha}{t}\dot{x}(t) + \nabla\Phi(x(t)) = g(t)$ 를 분석한다.
• 최적 해와의 거리와 목적 함수 값을 추적하기 위해 $h_k = \Phi(x_k) + \frac{1}{2}\|x_k - x^*\|^2$ 의 리아푸노프 함수를 사용한다.
• 수렴 분석을 위해 $\gamma_k = \frac{k-1}{k+\alpha-1}$ 인 $h_{k+1} - h_k - \gamma_k(h_k - h_{k-1}) \leq \omega_k $ 의 이산 재귀 부등식을 유도한다.
• 이산적 적분 비교 보조정리(보조정리 5.4) 를 적용하여 차분의 양의 부분의 합산 가능성을 보이며, 이는 $h_k$ 의 수렴을 암시한다.
• 교란 영향을 통제하기 위해 $\int_{t_0}^{\infty} t\|g(t)\|dt < \infty$ 와 $\sum_k k\|g_k\| < \infty$ 의 가정에 의존한다.
• 관성 감쇠의 구조와 에너지 추정을 활용하여 $\Phi(x(t)) - \min \Phi$ 의 감쇠를 경계함으로써 $O(1/t^2)$ 수렴 속도를 확립한다.

실험 결과

연구 질문

• RQ1 교란 조건 하에서 관성 시스템 $\ddot{x}(t) + \frac{\alpha}{t}\dot{x}(t) + \nabla\Phi(x(t)) = g(t)$ 의 목적 함수 값 $\Phi(x(t))$ 의 수렴 속도는 무엇인가?
• RQ2 교란 $g(t)$ 가 작을 때 $\alpha > 3$ 이면 궤적 $x(t)$ 가 $\Phi$ 의 최소화자로 약하게 수렴하는 조건은 무엇인가?
• RQ3 교란 또는 알고리즘 오차는 FISTA 유형 알고리즘의 빠른 $O(1/t^2)$ 수렴에 어떤 영향을 미치는가?
• RQ4 챔볼레-도살라 버전과 같이 오차가 포함된 이산 알고리즘에서 $O(1/t^2)$ 수렴 속도가 유지되는가?
• RQ5 관성 역학에서 감쇠 감쇠와 수렴 속도의 균형을 맞추는 데에 매개변수 $\alpha$ 가 수행하는 역할은 무엇인가?

주요 결과

• $\alpha \geq 3$ 이고 $\int_{t_0}^{\infty} t\|g(t)\|dt < \infty$ 이면 목적 함수 값은 $\Phi(x(t)) - \min_{\mathcal{H}}\Phi \leq \frac{C}{t^2}$ 를 만족하며, 이는 빠른 $O(1/t^2)$ 수렴을 확립한다.
• $\alpha > 3$ 이면 시스템의 임의의 궤적이 $\Phi$ 의 최소화자로 약하게 수렴함을 보이며, 비교적 교란이 없는 경우의 수렴 결과를 확장한다.
• 동일한 교란 조건 하에서 이산 시간 시스템의 수렴 속도는 목적 함수 값에 대해 $O(1/t^2)$ 를 유지한다.
• 이산 알고리즘의 궤적 수렴은 $\alpha > 3$ 조건 하에서 확립되었지만, 네스테로프 방법에 해당하는 $\alpha = 3$ 의 경우는 여전히 미해결 상태이다.
• 분석 결과, 교란 또는 알고리즘 오차가 가중치 기반 적분 조건 $\sum_k k\|g_k\| < \infty$ 를 만족하면 빠른 수렴 속도가 유지됨을 보여준다.
• 증명은 철저히 구성된 리아푸노프 함수와 수열 $h_k = \Phi(x_k) + \frac{1}{2}\|x_k - x^*\|^2$ 의 감쇠를 통제하는 이산 합산 보조정리에 의존한다.