[논문 리뷰] Accelerated primal-dual methods for linearly constrained convex optimization problems

Hao Luo|arXiv (Cornell University)|2021. 09. 26.

Stochastic Gradient Optimization Techniques참고 문헌 60인용 수 13

한 줄 요약

이 논문은 선형 제약 조건을 가진 볼록 최적화를 위한 가속화된 원-쌍대 역학계를 제안하며, 새로운 리아푸노프 함수를 사용하여 연속 시간에서 지수 감쇠를 확립한다. 음성, 반음성, 양성 스킴을 통한 이산화 과정을 통해 원-쌍대 방법을 신규로 도출하며, 원-쌍대 갭, 목적 함수 잔여항, 타당성 위반에 대해 비에르고딕적 $O(1/k^2)$ 수렴 속도를 확보한다. 수치적 검증을 통해 성능이 뛰어나며, 분산된 분산 최적화에 적용되어 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

This work proposes an accelerated primal-dual dynamical system for affine constrained convex optimization and presents a class of primal-dual methods with nonergodic convergence rates. In continuous level, exponential decay of a novel Lyapunov function is established and in discrete level, implicit, semi-implicit and explicit numerical discretizations for the continuous model are considered sequentially and lead to new accelerated primal-dual methods for solving linearly constrained optimization problems. Special structures of the subproblems in those schemes are utilized to develop efficient inner solvers. In addition, nonergodic convergence rates in terms of primal-dual gap, primal objective residual and feasibility violation are proved via a tailored discrete Lyapunov function. Moreover, our method has also been applied to decentralized distributed optimization for fast and efficient solution.

연구 동기 및 목표

• 선형 제약 조건을 가진 볼록 최적화 문제에 대해, 새로운 리아푸노프 함수를 활용한 지수 감쇠를 달성하는 새로운 가속화된 원-쌍대 역학계를 개발하는 것.
• 연속 모델의 음성, 반음성, 양성 시간 이산화를 통해 이산 원-쌍대 알고리즘을 유도하는 것.
• 통합된 이산 리아푸노프 함수를 사용하여, 세 가지 이산화 유형에 대해 원-쌍대 갭, 원 최적화 목적 함수 잔여항, 타당성 위반에 대해 비에르고딕 수렴 속도 $O(1/k^2)$를 확립하는 것.
• 제안된 반음성 방법을 분산된 분산 최적화에 적용하고, 기존 방법들보다 향상된 성능을 입증하는 것.
• 연속 시간 역학과 리아푸노프 기반 분석을 활용한 가속화된 원-쌍대 알고리즘 설계를 위한 체계적인 프레임워크를 제공하는 것.

제안 방법

• 시간 스케일링을 적용한 이阶 가속 원-쌍대 흐름 시스템을 도입하여, 특수하게 설계된 리아푸노프 함수의 지수 감쇠를 달성하는 것.
• 연속 역학계에 음성, 반음성, 양성 시간 이산화를 적용하여, 세 가지 유형의 원-쌍대 알고리즘을 도출하는 것.
• 특히 반음성 스킴에서의 하위문제 내 특수한 구조를 활용하여 대규모 문제에 적합한 효율적인 내부 해법을 설계하는 것.
• 모든 세 가지 이산화 유형에 대해 비에르고딕 수렴 속도를 증명하기 위해 통합된 이산 리아푸노프 함수를 사용하는 것.
• 네트워크를 혼합 행렬을 가진 그래프로 모델링하여 반음성 방법을 분산된 분산 최적화에 적응시키는 것.
• 중앙집중적 및 분산적 환경에서의 AQP 및 Extra 방법과의 성능 비교를 위해 수치 실험을 수행하여 수렴 속도를 검증하는 것.

실험 결과

연구 질문

• RQ1 선형 제약 조건을 가진 볼록 최적화 문제에서, 원-쌍대 갭의 지수 감쇠를 달성할 수 있는 연속 시간 원-쌍대 역학계를 설계할 수 있는가?
• RQ2 이러한 시스템의 시간 이산화 과정을 통해 비에르고딕적 $O(1/k^2)$ 수렴 속도를 가진 새로운 원-쌍대 방법을 도출할 수 있는가?
• RQ3 제안된 방법이 기존 접근 방식보다 더 빠른 수렴 속도를 보이며, 분산된 분산 최적화에 효과적으로 적용될 수 있는가?
• RQ4 목적 함수 갭과 타당성 위반 측면에서, 제안된 방법의 수렴 특성은 AQP 및 Extra 방법과 비교해 어떻게 되는가?
• RQ5 미래 연구에서 리아푸노프 함수 프레임워크를 비정확한 계산과 비미분 가능 목적 함수에 확장할 수 있는가?

주요 결과

• 제안된 가속화된 원-쌍대 흐름은 연속 시간에서 새로운 리아푸노프 함수의 지수 감쇠를 달성하여 빠른 수렴을 보장한다.
• 음성 및 반음성 시간 이산화 과정을 통해 원-쌍대 갭, 목적 함수 잔여항, 타당성 위반에 대해 비에르고딕적 $O(1/k^2)$ 수렴 속도를 가진 원-쌍대 방법이 도출된다.
• 양성 스킴은 완전히 선형화된 프록시멀 ALM에 해당하며, 반음성 스킴은 구조화된 하위문제 덕분에 효율적인 내부 해법을 가능하게 한다.
• 중앙집중적 문제에 대한 수치 결과는 제안된 방법(APD)이 AQP 및 Extra보다 더 빠르게 수렴하며, $O(1/k^2)$의 비선형 수렴 속도를 달성함을 보여준다.
• 분산된 로지스틱 회귀 문제에서 APD는 구형 및 토러스 그래프 모두에서 빠른 선형 수렴을 보이며, 이는 후자의 이론적 선형 수렴 속도에도 불구하고 AQP 및 Extra를 능가한다.
• 반음성 방법은 분산된 분산 최적화에 성공적으로 확장되었으며, 수렴 속도와 혼합 행렬 선택에 대한 강건성 측면에서 기존 방법들보다 뛰어난 성능을 보였다.