[논문 리뷰] Fast convergence of primal-dual dynamics and algorithms with time scaling for linear equality constrained convex optimization problems

Xin He, Rong Hu외 1명|arXiv (Cornell University)|2021. 03. 24.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 6

한 줄 요약

이 논문은 선형 등식 제약 조건이 있는 볼록 최적화 문제를 위한 시간 스케일링이 적용된 관성 기반 원-이중 동적 시스템을 제안한다. 이는 원 변수에 대해 이阶 미분방정식, 이중 변수에 대해 일阶 미분방정식을 조합한다. 특정 스케일링 조건 하에서 강한 볼록성 조건 없이도 지수 수렴을 달성하며, 작은 교란에 대해서도 이 빠른 수렴 속도가 유지된다. 이에 대응하는 비정확한 원-이중 알고리즘은 동적 시스템의 수렴 속도를 그대로 따르게 된다.

ABSTRACT

Second-order dynamical systems are important tools to solve optimization problems, and most of the existing works in this field have focused on unconstrained optimization problems. In this paper, we propose an inertial primal-dual dynamic with time scaling for the linear equality constrained convex optimization problem, which consists of a second-order ODE for the primal variable and a first-order ODE for the dual variable. When the scaling satisfies certain conditions, we prove its fast convergence property without assuming strong convexity, which can reach an exponential convergence rate at the most. We also show that the obtained fast convergence property of the dynamic is preserved under a small perturbation. By a time discretization, we develop an inexact primal-dual algorithm and derive the fast convergence property matching that of the underlying dynamic. Finally, we give numerical experiments to illustrate the validity of the proposed algorithm.

연구 동기 및 목표

• 선형 등식 제약 조건이 있는 볼록 최적화 문제에 대해 빠른 수렴을 보이는 이阶 동적 시스템의 부족을 보완하기 위해.
• 강한 볼록성 조건 없이도 빠른 수렴을 보장하는 원-이중 동적 시스템을 개발하기 위해.
• 시간 스케일링이 빠른 수렴과 소음에 대한 강건성을 유지하는 조건을 설정하기 위해.
• 연속 동적 시스템의 수렴 성질을 그대로 이어받는 시간 이산화된 비정확한 원-이중 알고리즘을 유도하기 위해.
• 수치 실험을 통해 이론적 결과를 검증하기 위해.

제안 방법

• 원-이중 동적 시스템에서 원 변수에 대해 이阶 상미분방정식, 이중 변수에 대해 일阶 상미분방정식을 수립한다.
• 빠른 수렴을 보장하기 위해 특정 조건을 만족하는 시간 스케일링 함수를 도입한다.
• 원 변수의 미분방정식에 관성(헤비볼드 유형) 항을 적용하여 수렴 속도를 가속화한다.
• 시스템의 에너지와 관련된 리아푸노프 함수를 분석하여 수렴 속도를 유도한다.
• 연속 동적 시스템을 시간 이산화하여 적응형 스텝 사이즈를 갖는 비정확한 원-이중 알고리즘을 구성한다.
• 리아푸노프 함수 접근법을 사용하여 지수 수렴과 소규모 교란 하에서의 강건성을 증명한다.

실험 결과

연구 질문

• RQ1 시간 스케일링이 적용된 이阶 원-이중 동적 시스템이 강한 볼록성 조건 없이도 선형 등식 제약 조건이 있는 볼록 최적화 문제에서 빠른 수렴을 달성할 수 있는가?
• RQ2 시간 스케일링 함수에 대해 어떤 조건이 동적 시스템의 지수 수렴을 보장하는가?
• RQ3 이 동적 시스템의 빠른 수렴 성질은 소규모 교란에 대해 강건한가?
• RQ4 연속 시간 수렴 성질이 시간 이산화된 비정확한 원-이중 알고리즘으로도 유지되는가?
• RQ5 제안된 알고리즘은 기존 방법과 비교해 수렴 속도 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 원-이중 동적 시스템은 강한 볼록성 조건 없이도 선형 등식 제약 조건이 있는 볼록 최적화 문제에서 지수 수렴을 달성한다.
• 소규모 교란 하에서도 지수 수렴 속도가 유지되어 동적 시스템의 강건성을 입증한다.
• 빠른 수렴을 보장하기 위해 시간 스케일링 함수는 특정 적분 가능성 및 감쇠 조건을 만족해야 한다.
• 시간 이산화된 비정확한 원-이중 알고리즘은 연속 동적 시스템의 지수 수렴 속도를 그대로 이어받는다.
• 수치 실험을 통해 제안된 알고리즘이 빠른 수렴을 달성하는 데 유효하고 효율적임을 확인한다.
• 리아푸노프 함수 분석을 통해 수렴 속도와 강건성을 입증하며, 이는 본 방법의 이론적 기반을 제공한다.