[논문 리뷰] A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions

Long Chen, Hao Luo|arXiv (Cornell University)|2021. 07. 31.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 5

한 줄 요약

이 논문은 강한 리아푸노프 함수를 사용하여 일阶 볼록 최적화 방법의 통합 수렴 분석 프레임워크를 제안한다. 이는 연속 동역학계를 통한 경사 하강법, 헤비 볼, 네스테로프 가속화 알고리즘 등의 체계적 유도 및 분석을 가능하게 하며, 핵심 기여는 시간 스케일링을 통해 볼록 및 강한 볼록 케이스를 통합하고, 지수 또는 다항 수렴 속도를 보장하는 강한 리아푸노프 조건이다.

ABSTRACT

We present a unified convergence analysis for first order convex optimization methods using the concept of strong Lyapunov conditions. Combining this with suitable time scaling factors, we are able to handle both convex and strong convex cases, and establish contraction properties of Lyapunov functions for many existing ordinary differential equation models. Then we derive prevailing first order optimization algorithms, such as proximal gradient methods, heavy ball methods (also known as momentum methods), Nesterov accelerated gradient methods, and accelerated proximal gradient methods from numerical discretizations of corresponding dynamical systems. We also apply strong Lyapunov conditions to the discrete level and provide a more systematical analysis framework. Another contribution is a novel second order dynamical system called Hessian-driven Nesterov accelerated gradient flow which can be used to design and analyze accelerated first order methods for smooth and non-smooth convex optimizations.

연구 동기 및 목표

• 리아푸노프 함수를 사용하여 일阶 볼록 최적화 방법의 통합 프레임워크를 개발하기 위해.
• ODE 성질과 이산 알고리즘 수렴 간의 일반 이론 부족 문제를 해결하기 위해.
• 시간 스케일링과 강한 리아푸노프 조건을 통해 볼록 및 강한 볼록 케이스를 통합적으로 다루기 위해.
• 특수한 대수적 변환 없이도 수렴 속도를 검증할 수 있는 체계적 방법을 제공하기 위해.
• 연속 동역학계에서 가속 알고리즘(예: 새로운 헤시안 기반 네스테로프 흐름 포함)을 유도하고 분석하기 위해.

제안 방법

• 강한 리아푸노프 조건의 개념 도입: $ -\nabla\mathcal{L} \cdot \mathcal{G} \geq c(\bm{x})\mathcal{L}^q + p^2(\bm{x}) $ 를 만족하는 리아푸노프 함수로 수렴 속도 추정이 가능하다.
• 시간 스케일링을 적용하여 볼록 ($ q > 1 $) 및 강한 볼록 ($ q = 1 $) 케이스의 수렴 분석을 통합한다.
• 표준 알고리즘(예: 프록시멀 그라디언트, 헤비 볼, 네스테로프)을 ODE의 반-암시적 또는 암시적 이산화로 유도한다.
• 가속화된 방법 설계 및 분석을 위한 새로운 헤시안 기반 네스테로프 가속 그라디언트 흐름을 제안한다.
• 볼록성 부등식(예: $ f \in \mathcal{S}_{\mu,L}^1 $ 에 대한 정밀한 하한)을 사용하여 강한 리아푸노프 조건을 검증한다.
• 이산 수준에서 강한 리아푸노프 조건을 통해 이산 수렴을 확립하여 $ \mathcal{L}_{k+1} \leq \frac{\mathcal{L}_k}{1 + \alpha_k} $ 를 보장한다.

실험 결과

연구 질문

• RQ1 리아푸노프 함수를 사용하여 일阶 볼록 최적화 방법의 통합 수렴 분석 프레임워크를 개발할 수 있는가?
• RQ2 강한 리아푸노프 조건을 어떻게 활용하여 다양한 알고리즘 간의 수렴 속도를 체계적으로 유도하고 분석할 수 있는가?
• RQ3 시간 스케일링을 통해 볼록 및 강한 볼록 케이스를 통합할 수 있는가?
• RQ4 헤시안 기반 흐름과 같은 새로운 동역학계는 최적화에서의 가속화를 향상시키기 위해 어떻게 도출될 수 있는가?
• RQ5 복잡한 대수적 변환 없이도 강한 리아푸노프 조건을 볼록 함수 부등식을 통해 검증할 수 있는가?

주요 결과

• 강한 리아푸노프 조건은 $ q = 1 $ 인 경우 지수 감쇠 $ \mathcal{L}(t) = O(e^{-ct}) $ 와 $ q > 1 $ 인 경우 다항 감쇠 $ \mathcal{L}(t) = O(t^{1/(1-q)}) $ 를 보장한다.
• 시간 스케일링을 통한 프레임워크는 볼록 및 강한 볼록 문제의 수렴 분석을 통합하여 사례별 처리를 피한다.
• 이산 리아푸노프 함수는 $ \mathcal{L}_{k+1} \leq \frac{\mathcal{L}_k}{1 + \alpha_k} $ 를 만족하며, 이는 $ O(1/k^2) $ 와 $ O((1 + \sqrt{\mu/L})^{-k}) $ 의 수렴 속도를 이끈다.
• 가속 프록시멀 그라디언트 방법의 경우 $ \gamma_0 = rL \geq \mu $ 라면 bound $ \mathcal{L}_k \leq \mathcal{L}_0 \cdot \min\left\{ \left(\frac{2}{2 + \sqrt{r}\,k}\right)^2, \left(1 + \sqrt{\frac{\mu}{L}}\right)^{-k} \right\} $ 가 확립된다.
• 정밀한 볼록성 부등식 (145) 는 복잡한 대수적 변환 없이도 강한 리아푸노프 조건을 볼록 함수 부등식만으로 검증할 수 있게 한다.
• 헤시안 기반 네스테로프 흐름은 가속화된 방법 설계 및 분석을 위한 새로운 2차 동역학계로 도입된다.