[논문 리뷰] Nesterov's acceleration and Polyak's heavy ball method in continuous time: convergence rate analysis under geometric conditions and perturbations

Othmane Sebbouh, Charles Dossal외 1명|arXiv (Cornell University)|2019. 07. 05.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 시간에 따라 변화하는 감쇠와 교란을 갖는 이阶微분방정식을 사용하여 연속 시간에서 네스터로프의 가속 경사하강법과 폴랴크의 헤비볼 방법의 수렴 속도를 분석한다. 기하 조건(예: 루자예비치 성질 및 교란의 적분 가능성) 하에서 날카로운 기하학적 구조와 평평한 기하학적 구조 모두에 대해 향상된 수렴 속도를 확립하며, 관성 및 교란된 최적화 방법의 분석을 통합한다.

ABSTRACT

In this article a family of second order ODEs associated to inertial gradient descend is studied. These ODEs are widely used to build trajectories converging to a minimizer $x^*$ of a function $F$, possibly convex. This family includes the continuous version of the Nesterov inertial scheme and the continuous heavy ball method. Several damping parameters, not necessarily vanishing, and a perturbation term $g$ are thus considered. The damping parameter is linked to the inertia of the associated inertial scheme and the perturbation term $g$ is linked to the error that can be done on the gradient of the function $F$. This article presents new asymptotic bounds on $F(x(t))-F(x^*)$ where $x$ is a solution of the ODE, when $F$ is convex and satisfies local geometrical properties such as {\\L}ojasiewicz properties and under integrability conditions on $g$. Even if geometrical properties and perturbations were already studied for most ODEs of these families, it is the first time they are jointly studied. All these results give an insight on the behavior of these inertial and perturbed algorithms if $F$ satisfies some {\\L}ojasiewicz properties especially in the setting of stochastic algorithms.

연구 동기 및 목표

• 연속 시간에서 관성 경사하강법의 수렴 행동을 분석하는 것, 특히 네스터로프의 가속화와 폴랴크의 헤비볼 방법을 대상으로 한다.
• 시간에 따라 변화하는 감쇠 계수와 외부 교란이 수렴 속도에 미치는 영향을 연구하는 것.
• 로컬 기하 조건(예: 루자예비치 부등식)을 만족하는 볼록 함수에 대해 새로운 수렴 속도 경계를 확립하는 것.
• 이전에 함께 다뤄지지 않았던 기하 가정 하에서 교란 및 관성 최적화 방법의 분석을 통합하는 것.
• 특히 스토하스틱 알고리즘 맥락에서 교란 $ g(t) $ 에 대한 적분 조건 하에서 $ F(x(t)) - F^* $ 의 정밀한 감쇠 속도를 제공하는 것.

제안 방법

• 관성 역학을 모델링하기 위해 $ \beta(t) = \alpha / t^\theta $, $ \theta \in [0,1] $ 인 시간에 따라 변화하는 감쇠를 갖는 이阶미분방정식의 가족을 수립: $ \ddot{x}(t) + \beta(t)\dot{x}(t) + \nabla F(x(t)) = g(t) $.
• 맞춤형 에너지 함수를 사용하여 리아푸노프 함수 기법을 적용해 에너지 감쇠 추정을 도출하며, 기하 설정에 따라 조정된 에너지 함수를 사용한다.
• 조정 가능한 매개변수를 갖는 일반화된 에너지 함수 $ \mathcal{E}(t) $ 를 도입하여 함수 갭 $ F(x(t)) - F^* $, 속도 노름, 그리고 $ x(t) - x^* $ 를 포함하는 가중치 항을 결합한다.
• 궤적 沿해 미분하고 기하 가정(예: $ \mathbf{H}_1(\gamma) $) 을 적용하여 에너지 함수에 대한 미분 부등식을 유도한다. 이는 루자예비치 유형의 행동을 포괄한다.
• 시간 스케일링을 통해 $ \mathcal{H}(t) = t^p \mathcal{E}(t) $ 를 사용하여 에너지 감쇠를 단조성 조건으로 변환하고, 이로써 수렴 속도 추정이 가능하게 한다.
• 교란 $ g(t) $ 에 대해 적분 조건(예: $ \int_{t_0}^\infty t^{(1+\theta)/2} \|g(t)\| dt < \infty $) 을 도입하여 그 영향을 정량화한다.

실험 결과

연구 질문

• RQ1 목적 함수의 기하 성질(예: 루자예비치 조건)이 교란이 있는 관성 ODE의 수렴 속도에 어떻게 영향을 미치는가?
• RQ2 시간에 따라 변화하는 감쇠와 비영인 교란 조건 하에서 $ F(x(t)) - F^* $ 의 최적 감쇠 속도는 무엇인가?
• RQ3 네스터로프의 방법과 폴랴크의 방법의 수렴 분석을 기하학적 구조와 교란에 대한 강건성까지 포함하는 단일 프레임워크로 통합할 수 있는가?
• RQ4 목적 함수가 날카로운 경우(예: $ \mathbf{H}_1(\gamma) $ 를 만족하고 $ \gamma > 0 $) 와 평평한 경우(예: 안장점 또는 비엄격 최소점 근처) 에서 수렴 속도는 어떻게 변화하는가?
• RQ5 교란 $ g(t) $ 에 대해 어떤 적분 조건이 수렴 속도가 비교적 교란이 없는 경우와 동일하게 유지되도록 보장하며, 이 조건은 감쇠 매개변수 $ \theta $ 에 따라 어떻게 달라지는가?

주요 결과

• $ \theta \in [0,1) $ 일 때, 루자예비치 조건 $ \mathbf{H}_1(\gamma) $ 하에서 논문은 $ F(x(t)) - F^* = O\left(\frac{1}{t^{1+\theta}}\right) $ 의 수렴 속도를 확립하며, 이는 비교적 교란이 없는 경우와 일치한다.
• $ \theta = 1 $ 이고 $ \alpha > 3 $ 일 때, 동일한 기하 가정 하에서 속도가 향상되어 $ F(x(t)) - F^* = o\left(\frac{1}{t^2}\right) $ 가 된다.
• 준비극성 케이스 $ \alpha < 3 $ 에서는 더 약한 적분 조건 $ \int_{t_0}^\infty t^{\alpha/3} \|g(t)\| dt < \infty $ 하에 $ F(x(t)) - F^* = O\left(\frac{1}{t^{2\alpha/3}}\right) $ 를 보여준다.
• 이 분석은 기하학적 구조와 교란 영향을 동시에 고려하는 최초의 통합 프레임워크를 제공하며, 이전 연구에서 별개로 다루었던 내용을 확장한다.
• 시간 스케일링 $ \mathcal{H}(t) = t^p \mathcal{E}(t) $ 를 사용한 에너지 함수 접근법은 특히 평평한 기하학적 영역에서 감쇠 속도를 정밀하게 제어할 수 있게 한다.
• 교란 $ g(t) $ 가 수렴 속도를 떨어뜨리지 않는 조건을 명시적으로 도출하며, $ g $ 가 $ \int_{t_0}^\infty t^{(1+\theta)/2} \|g(t)\| dt < \infty $ 를 만족할 경우 감쇠 속도가 유지됨을 보여준다.