[논문 리뷰] High-Resolution Modeling of the Fastest First-Order Optimization Method for Strongly Convex Functions

Boya Sun, Jemin George외 1명|arXiv (Cornell University)|2020. 08. 25.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 강凸 함수에 대해 Nesterov의 가속 경사하강법(NAG)보다 빠른 수렴 속도를 보이는 삼중 모멘타ム(TM) 방법을 위한 고해상도 이阶微분방정식(ODE) 모델을 제안한다. 리아푸노프 분석과 적분 제약 조건(IQC) 방법을 사용하여 지수적 수렴을 확인하고, 수치 시뮬레이션을 통해 더 낮은 수렴 속도 상한을 확보함으로써 TM ODE 모델이 NAG보다 더 빠른 수렴 속도를 달성함을 입증한다.

ABSTRACT

Motivated by the fact that the gradient-based optimization algorithms can be studied from the perspective of limiting ordinary differential equations (ODEs), here we derive an ODE representation of the accelerated triple momentum (TM) algorithm. For unconstrained optimization problems with strongly convex cost, the TM algorithm has a proven faster convergence rate than the Nesterov's accelerated gradient (NAG) method but with the same computational complexity. We show that similar to the NAG method to capture accurately the characteristics of the TM method, we need to use a high-resolution modeling to obtain the ODE representation of the TM algorithm. We use a Lyapunov analysis to investigate the stability and convergence behavior of the proposed high-resolution ODE representation of the TM algorithm. We show through this analysis that this ODE model has robustness to deviation from the parameters of the TM algorithm. We compare the rate of the ODE representation of the TM method with that of the NAG method to confirm its faster convergence. Our study also leads to a tighter bound on the worst rate of convergence for the ODE model of the NAG method. Lastly, we discuss the use of the integral quadratic constraint (IQC) method to establish an estimate on the rate of convergence of the TM algorithm. A numerical example demonstrates our results.

연구 동기 및 목표

• 강凸 함수에 대해 삼중 모멘타ム(TM) 방법의 정확한 연속 시간 ODE 표현을 개발하는 것.
• 리아푸노프 함수와 적분 제약 조건(IQC)과 같은 제어 이론적 도구를 사용하여 TM 방법의 안정성과 수렴성을 분석하는 것.
• 고해상도 ODE 모델링이 TM과 같은 가속 일계 최적화 방법의 진정된 동역학을 포착하는 데 필수적임을 보여주며, 일계 ODE는 TM과 NAG를 구분하지 못함을 밝히는 것.
• TM과 NAG ODE 모델의 수렴 속도를 비교하여 TM의 우월한 성능를 확인하는 것.
• 고해상도 분석을 통해 NAG ODE 모델의 최악의 수렴 속도 상한을 더 좁게 제시하는 것.

제안 방법

• 단계 크기가 0에 접근할 때 이산 TM 방법의 극한을 취하여 고해상도 이계 ODE 표현을 유도함으로써 고차원 동역학을 포착하는 것.
• ODE 모델에 리아푸노프 분석을 적용하여 지수적 수렴과 매개수 편차에 대한 강건성을 증명하는 것.
• 수렴 속도를 추정하기 위해 적분 제약 조건(IQC) 프레임워크를 사용하여 안정성에 대한 충분 조건을 제공하는 것.
• 헤시안과 리프시츠 상수를 포함하는 점별 IQC 조건을 도입하여 $ M $과 $ L $으로 매개수화된 경사도 매핑을 모델링하는 것.
• 반정형 프로그래밍을 통해 최대 지수적 수렴 속도 $ p^{ ext{star}}_{\text{IQC}} $를 계산하기 위해 행렬 부등식 조건 (32)를 활용하는 것.
• 다양한 단계 크기와 조건 수에 따라 TM, NAG, 경사하강법 및 그 ODE 대응체 간의 수치 시뮬레이션을 수행하여 이론적 결과를 검증하는 것.

실험 결과

연구 질문

• RQ1 고해상도 이계 ODE가 삼중 모멘타ム(TM) 방법을 정확히 모델링할 수 있으며, Nesterov의 가속 경사하강법(NAG)과 비교해 더 빠른 수렴 행동을 포착할 수 있는가?
• RQ2 고해상도 ODE에 적용된 리아푸노프 분석이 TM의 지수적 수렴과 매개수 편차에 대한 강건성을 어떻게 확인하는가?
• RQ3 고해상도 ODE 모델링을 통해 NAG 방법의 최악의 수렴 속도 상한을 얼마나 좁게 얻을 수 있는가?
• RQ4 적분 제약 조건(IQC) 방법이 TM ODE 모델의 수렴 속도를 신뢰할 수 있게 추정할 수 있는가?
• RQ5 다양한 단계 크기에서 TM과 NAG의 ODE 표현은 수렴 속도와 진동 행동 측면에서 어떻게 비교되는가?

주요 결과

• 고해상도 ODE 모델은 TM 방법의 이산 시간 행동을 정확히 포착하며, NAG보다 더 빠른 수렴과 더 적은 진동을 포함한다.
• 리아푸노프 분석은 TM ODE 모델의 지수적 수렴을 확인하고 매개수 편차에 대한 강건성을 입증한다.
• TM 방법의 ODE 모델은 NAG ODE 모델보다 더 빠른 수렴 속도를 달성하여 TM 알고리즘의 우월성을 확인한다.
• 고해상도 분석을 통해 NAG ODE 모델의 최악의 수렴 속도 상한을 더 좁게 유도하였으며, 이는 이전 추정치를 향상시킨다.
• IQC 기반 방법은 조건 수 $ \kappa $가 증가할수록 감소하는 수렴 속도 추정치 $ p^{ ext{star}}_{\text{IQC}} $를 제공하며, 이는 경사하강법의 행동과 일치한다.
• 수치 시뮬레이션은 TM ODE가 이산 TM 방법을 정확히 따라가며, 더 작은 단계 크기는 이론 예측과 같이 진동을 줄이지만 수렴 속도를 느리게 한다.