[論文レビュー] Primal-dual dynamical systems with closed-loop control for convex optimization in continuous and discrete time

Huan Zhang, Xiangkai Sun+2 more|arXiv (Cornell University)|Feb 18, 2026

Optimization and Variational Analysis被引用数 0

ひとこと要約

要約: この論文は、閉ループ減衰を備えた第二次の primal + 第一種 dual の連続時間力学系を設計し、線形等式制約を持つ凸最適化を解く。さらに、勾配に基づく適応ステップサイズと収束保証を持つ離散化された加速 primal-dual アルゴリズムを導出する。

ABSTRACT

This paper develops a primal-dual dynamical system where the coefficients are designed in closed-loop way for solving a convex optimization problem with linear equality constraints. We first introduce a ``second-order primal" + ``first-order dual'' continuous-time dynamical system, in which both the time scaling and Hessian-driven damping are governed by a feedback control of the gradient for the Lagrangian function. This system achieves the fast convergence rates for the primal-dual gap, the feasibility violation, and the objective residual along its trajectory. Subsequently, by time discretization of this system, we develop an accelerated primal-dual algorithm with a gradient-defined adaptive step size. We also obtain convergence rates for the primal-dual gap, the feasibility violation, and the objective residual. Furthermore, we provide numerical results to demonstrate the practical efficacy and superior performance of the proposed algorithm.

研究の動機と目的

• 自動的な Hessian 駆動 primal-dual ダイナミクスによる線形等式制約付き凸最適化の解法を動機づける。
• ラグランジアン勾配によって支配される閉ループ減衰を用いた第二次 primal および第一種 dual の連続時間システムを導入する。
• 連続時間軌道に沿った primal-dual ギャップ、適合性、目的残差の高速収束率を確立する。
• 勾配に基づく適応ステップサイズを用いたシステムを離散化して、加速的な primal-dual アルゴリズムを得る。
• 提案手法の実用性能の優位性を示す数値実験を提供する。

提案手法

• ラグランジアンの勾配によってフィードバック制御される減衰と時間スケーリングを備えた第二次 primal と第一種 dual の連続時間力学系を形成する。
• tau(t) 関数と勾配ベースのフィードバックを用いて Hessian 駆動減衰と時間スケーリングを組み込み、高速収束を達成する。
• 軌道上の primal-dual ギャップ、適合性違反、目的残差の収束率を証明する（例: L(x(t),λ*)−L(x*,λ*) = O(1/t^{(2qp−p+1)/2})）。
• 連続系を離散化して、ラグランジアンの勾配に基づく適応ステップサイズを持つ加速的自動制御 primal-dual アルゴリズムを導く。
• 特別なケース（例: q=1, q=2）が既知の結果を回収し、閉ループ制御下で改善されたレートを強調する。
• 最新手法と比較する数値実験を提供し、実践的な性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 Hessian 駆動減衰と閉ループ制御を持つ primal-dual ダイナミクスは、連続時間で凸問題を効率的に解けるか。
• RQ2 提案する連続時間系から得られる primal-dual ギャップ、適合性、目的残差の収束速度はどれほどか。
• RQ3 離散化は適応ステップサイズを持つ加速的自動 primal-dual アルゴリズムをどのように生み出し、どのレートを達成するか。
• RQ4 系の特別なケースは既存の結果を再現し、収束挙動の改善をもたらすか。

主な発見

• 連続時間系は軌道上で primal-dual ギャップ、適合性違反、目的残差の高速収束を達成する。
• 離散化により勾配に基づく適応ステップサイズを持つ加速的 primal-dual アルゴリズムが得られる。
• 適切な条件の下、離散設定での primal-dual ギャップ、適合性、目的残差の O(1/k^{(3p−1)/(2p)}) レートを達成する。
• 数値結果は、競合手法と比較して実用性能と精度が優れていることを示す。
• 解析は、制約付き凸最適化の primal-dual ダイナミクスへ閉ループ制御アプローチを拡張する。
• 特別なケースは、特定のパラメータ選択で o(1/t^{p+1/2}) や O(1/t) など既知のレートを回収する。