[논문 리뷰] Primal-dual dynamical systems with closed-loop control for convex optimization in continuous and discrete time

Huan Zhang, Xiangkai Sun외 2명|arXiv (Cornell University)|2026. 02. 18.

Optimization and Variational Analysis인용 수 0

한 줄 요약

이 논문은 닫힌 루프 댐핑을 갖춘 이阶 프라이멀 + 이阶 듀얼 연속 시간 다이나믹 시스템을 설계하여 선형 등식 제약을 갖는 볼록 최적화를 해결하고, 적응 스텝 사이즈와 수렴 보장을 갖춘 그 이산 가속 프라이멀-듀얼 알고리즘을 도출한다.

ABSTRACT

This paper develops a primal-dual dynamical system where the coefficients are designed in closed-loop way for solving a convex optimization problem with linear equality constraints. We first introduce a ``second-order primal" + ``first-order dual'' continuous-time dynamical system, in which both the time scaling and Hessian-driven damping are governed by a feedback control of the gradient for the Lagrangian function. This system achieves the fast convergence rates for the primal-dual gap, the feasibility violation, and the objective residual along its trajectory. Subsequently, by time discretization of this system, we develop an accelerated primal-dual algorithm with a gradient-defined adaptive step size. We also obtain convergence rates for the primal-dual gap, the feasibility violation, and the objective residual. Furthermore, we provide numerical results to demonstrate the practical efficacy and superior performance of the proposed algorithm.

연구 동기 및 목표

• 선형 등식 제약을 갖는 볼록 최적화를 자율적이고 해시안 드리븐(Hessian-driven) 프라이멀-듀얼 다이내믹스로 해결하는 것을 동기화한다.
• Lagrangian 그래디언트에 의해 제어되는 닫힌 루프 댐핑으로 2차 프라이멀 및 1차 듀얼 연속 시간 시스템을 도입한다.
• 연속 시간 궤적 상에서 프라이멀-듀얼 간격, 적합성, 목적 잔차의 빠른 수렴 속도를 확립한다.
• 시스템을 이산화하여 그래디언트 정의적 적응 스텝 사이즈를 갖는 가속 프라이멀-듀얼 알고리즘을 얻는다.
• 제안 방법의 실용적 성능 우수성을 보여주는 수치 실험을 제공한다.

제안 방법

• 2차 프라이멀 및 1차 듀얼 구성요소를 갖는 연속 시간 다이나믹 시스템을 형식화하고, 댐핑과 시간 스케일링은 Lagrangian의 그래디언트에 의해 피드백으로 제어된다.
• 고속 수렴을 달성하기 위해 tau(t) 함수와 그래디언트 기반 피드백을 통해 해석적 댐핑 및 시간 스케일링을 Hessian-driven 방식으로 통합한다.
• 轨迹 상의 프라이멀-듀얼 간격, 적합성 위반, 및 목적 잔차에 대한 수렴 속도 (예: L(x(t),λ*)−L(x*,λ*) = O(1/t^{(2qp−p+1)/2}))를 증명한다.
• 연속 시스템을 이산화하여 Lagrangian의 그래디언트에 기반한 적응 스텝 사이즈를 갖는 가속 자율 프라이멀-듀얼 알고리즘을 도출한다.
• 특수한 경우(q=1, q=2 등)를 보여 주어 닫힌 루프 제어 하에서의 향상된 속도를 강조한다.
• 현대 최첨단 방법과의 수치 실험을 제공하여 제안 방법의 실용적 성능 향상을 비교한다.

실험 결과

연구 질문

• RQ1 Hessian-driven 댐핑과 닫힌 루프 제어를 갖춘 프라이멀-듀얼 다이나믹 시스템이 연속 시간에서 볼록 문제를 효율적으로 해결할 수 있는가?
• RQ2 제안된 연속 시간 시스템으로 달성 가능한 프라이멀-듀얼 간격, 적합성 및 목적 잔차의 수렴 속도는 무엇인가?
• RQ3 이산화가 어떻게 적응 스텝 사이즈를 갖는 가속 자율 프라이멀-듀얼 알고리즘으로 이어지며 어떤 속도를 달성하는가?
• RQ4 시스템의 특수한 케이스가 기존 결과를 회복하고 수렴 거동에서 향상을 제공하는가?

주요 결과

• 연속 시간 시스템은 궤적 상에서 프라이멀-듀얼 간격, 적합성 위반, 및 목적 잔차에 대해 빠른 수렴 속도를 달성한다.
• 이산화는 그래디언트 정의적 적응 스텝 사이즈를 갖는 가속 프라이멀-듀얼 알고리즘을 도출한다.
• 알고리즘은 적합한 조건 하에서 이산 설정에서 O(1/k^{(3p−1)/(2p)})의 속도를 프라이멀-듀얼 간격, 적합성 및 목적 잔차에 대해 달성한다.
• 수치 결과는 경쟁 방법들에 비해 우수한 실용적 성능과 더 높은 정확도를 나타낸다.
• 해석은 제약이 있는 볼록 최적화를 위한 프라이멀-듀얼 다이나믹에 닫힌 루프 제어 접근을 확장한다.
• 특정 매개변수 선택 하에서 o(1/t^{p+1/2}) 및 O(1/t)와 같은 알려진 속도를 회복하는 특수한 경우를 제공한다.