[論文レビュー] Fast convergence of primal-dual dynamics and algorithms with time scaling for linear equality constrained convex optimization problems

Xin He, Rong Hu+1 more|arXiv (Cornell University)|Mar 24, 2021

Sparse and Compressive Sensing Techniques参考文献 44被引用数 6

ひとこと要約

本稿は、線形等式制約付き凸最適化問題に対する時間スケーリングを施した慣性的プリマルドゥアルダイナミクスを提案する。これは、プライマル変数の2階常微分方程式と、デュアル変数の1階常微分方程式を組み合わせたものである。特定のスケーリング条件の下で、強い凸性を仮定しないまま指数的収束を達成でき、小さな摂動に対してもこの高速収束が保たれ、関連する不正確なプリマルドゥアルアルゴリズムは、ダイナミクスの収束速度と一致する。

ABSTRACT

Second-order dynamical systems are important tools to solve optimization problems, and most of the existing works in this field have focused on unconstrained optimization problems. In this paper, we propose an inertial primal-dual dynamic with time scaling for the linear equality constrained convex optimization problem, which consists of a second-order ODE for the primal variable and a first-order ODE for the dual variable. When the scaling satisfies certain conditions, we prove its fast convergence property without assuming strong convexity, which can reach an exponential convergence rate at the most. We also show that the obtained fast convergence property of the dynamic is preserved under a small perturbation. By a time discretization, we develop an inexact primal-dual algorithm and derive the fast convergence property matching that of the underlying dynamic. Finally, we give numerical experiments to illustrate the validity of the proposed algorithm.

研究の動機と目的

• 線形等式制約付き凸最適化問題に対する高速収束型2階ダイナミクスの不足を補うこと。
• 強い凸性を仮定しないまま高速収束を保証するプリマルドゥアル力学系の開発。
• 時間スケーリングが高速収束を保つための条件を確立すること。
• 連続ダイナミクスの収束特性を継承する時間離散化不正確プリマルドゥアルアルゴリズムの導出。
• 数値実験を通じて理論的考察の妥当性を検証すること。

提案手法

• プライマル変数の2階常微分方程式とデュアル変数の1階常微分方程式を、プリマルドゥアルダイナミクス系として定式化する。
• 高速収束を保証するための特定条件を満たす時間スケーリング関数を導入する。
• 収束加速のため、プライマル変数のODEに慣性（ヘビーボール型）項を適用する。
• 系のエネルギーに関連するリャプノフ関数の解析を通じて収束速度を導出する。
• 連続ダイナミクスの時間離散化を行い、適応的ステップサイズを有する不正確なプリマルドゥアルアルゴリズムを構築する。
• リャプノフ関数アプローチを用いて、指数的収束および小さな摂動下でのロバストネスを証明する。

実験結果

リサーチクエスチョン

• RQ1 時間スケーリング付き2階プリマルドゥアルダイナミクスは、強い凸性を仮定しない線形等式制約付き凸最適化問題に対し、高速収束を達成できるか？
• RQ2 時間スケーリング関数にどのような条件を課すことで、ダイナミクス系の指数的収束が保証されるか？
• RQ3 このダイナミクスの高速収束性は、小さな摂動に対してもロバストか？
• RQ4 連続時間の収束特性は、時間離散化された不正確なプリマルドゥアルアルゴリズムに引き継がれるか？
• RQ5 提案アルゴリズムは、既存手法と比較して収束速度面でどのように異なるか？

主な発見

• 提案されたプリマルドゥアルダイナミクスは、強い凸性を仮定しない線形等式制約付き凸最適化問題に対し、指数的収束を達成する。
• 小さな摂動に対しても指数的収束率が保たれ、ダイナミクス系のロバストネスが示された。
• 時間スケーリング関数は、特定の可積分性および減衰条件を満たす必要がある。
• 時間離散化された不正確なプリマルドゥアルアルゴリズムは、連続ダイナミクスの指数的収束率を継承する。
• 数値実験により、提案アルゴリズムの有効性と効率性が確認され、高速収束が達成されることを裏付けた。
• リャプノフ関数解析により収束速度とロバストネスが証明され、本手法の理論的基盤が確立された。