[논문 리뷰] Convergence rate analysis of fast primal-dual methods with scalings for linearly constrained convex optimization problems

Xin He, Rong Hu외 1명|arXiv (Cornell University)|2021. 03. 18.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 선형 제약 조건을 가진 볼록 최적화 문제에 대해 네스테로프 가속 기법을 영감으로 삼아 스케일링이 적용된 원시-이중 알고리즘을 제안한다. 적절한 스케일링 하에서 수렴 속도가 𝒪(1/k²)보다 빠르며, 비정확한 프록시멀 및 선형화된 업데이트를 사용하는 변형들이 포함되어 있으며, 시간 스케일링을 적용한 관성 동역학을 분석하여 가속 메커니즘을 깊이 이해하고자 한다.

ABSTRACT

We propose a primal-dual algorithm with scaling, linked to the Nesterov's acceleration scheme, for a linear equality constrained convex optimization problem. We also consider two variants of the algorithm: an inexact proximal primal-dual algorithm and an inexact linearized primal-dual algorithm. We prove that these algorithms enjoy fast convergence properties, even faster than $\mathcal{O}(1/k^2)$ under suitable scaling conditions. Finally, we study an inertial primal-dual dynamic with time scaling for a better understanding of accelerated schemes of the proposed algorithms.

연구 동기 및 목표

• 선형 제약 조건을 가진 볼록 최적화 문제에 대해 수렴 속도를 가속화하는 스케일링이 적용된 원시-이중 알고리즘을 개발한다.
• 실제 적용성을 향상시키기 위해 원시-이중 방법의 비정확한 변형—프록시멀 및 선형화된 형태—를 분석한다.
• 적절한 스케일링 조건 하에서 수렴 속도가 𝒪(1/k²)보다 빠르다는 것을 확립한다.
• 가속화 메커니즘을 이해하기 위해 시간 스케일링을 적용한 관성 원시-이중 동역학을 연구한다.

제안 방법

• 알고리즘은 적응적 스케일링을 갖춘 원시-이중 프레임워크를 사용하며, 수렴 속도 향상을 위해 네스테로프의 가속 기법을 응용한다.
• 프록시멀 단계에서의 근사 해를 允허하는 비정확한 프록시멀 원시-이중 변형을 도입하여 계산 효율성을 향상시킨다.
• 목적 함수를 국소적으로 근사하여 하위문제 해결을 단순화하는 선형화된 알고리즘 버전을 제안한다.
• 가속된 알고리즘의 거동을 모델링하고 분석하기 위해 관성 동역학에 시간 스케일링을 통합한다.
• 볼록성과 선형 등식 제약 조건을 가정하여 수렴 분석을 수행하며, 스케일링을 통한 속도 향상에 초점을 맞춘다.
• 이론적 분석은 리아푸노프 함수와 연속 시간 동역학을 활용하여 수렴 속도의 상한을 유도한다.

실험 결과

연구 질문

• RQ1 스케일링이 적용된 원시-이중 알고리즘이 선형 제약 조건을 가진 볼록 문제에서 𝒪(1/k²)보다 빠른 수렴 속도를 달성할 수 있는가?
• RQ2 비정확한 프록시멀 및 선형화된 변형이 수렴 속도와 실용적 성능에 어떤 영향을 미치는가?
• RQ3 시간 스케일링은 관성 원시-이중 동역학에서 가속화 메커니즘을 이해하는 데 어떤 역할을 하는가?
• RQ4 어떤 스케일링 조건에서 제안된 방법이 표준 원시-이중 방법보다 우월한가?

주요 결과

• 적절한 스케일링 조건 하에서 제안된 원시-이중 알고리즘은 𝒪(1/k²)보다 빠른 수렴 속도를 달성한다.
• 비정확한 프록시멀 원시-이중 변형은 프록시멀 단계의 근사 오차에 대해 강건성을 유지하면서도 빠른 수렴을 유지한다.
• 선형화된 변형은 수렴 속도를 유지하면서도 반복당 계산 비용을 감소시킨다.
• 시간 스케일링을 적용한 관성 원시-이중 동역학은 연속 시간 해석을 제공하여 가속 메커니즘을 설명하는 데 기여한다.