[論文レビュー] Convergence Rates of Inertial Primal-Dual Dynamical Methods for Separable Convex Optimization Problems

Xin He, Rong Hu+1 more|arXiv (Cornell University)|Jul 24, 2020

Optimization and Variational Analysis参考文献 33被引用数 9

ひとこと要約

本稿では、線形制約付き分離可能な凸最適化問題を解くために、時間変動する減衰を有する2階の慣性プライマル・デュアル動的システムを提案する。リャプノフ解析を用いて、γ(t) = α/tʳ という異なる減衰関数の下で、双対ギャップの収束速度が O(t⁻⁽ʳ⁺¹⁾) であり、制約違反の収束速度が O(t⁻⁽ʳ⁺¹⁾ᐟ²) であることを確立し、外部摂動に対してロバストであることを証明する。

ABSTRACT

In this paper, we propose a second-order continuous primal-dual dynamical system with time-dependent positive damping terms for a separable convex optimization problem with linear equality constraints. By the Lyapunov function approach, we investigate asymptotic properties of the proposed dynamical system as the time $t o+\infty$. The convergence rates are derived for different choices of the damping coefficients. We also show that the obtained results are robust under external perturbations.

研究の動機と目的

• 線形等式制約付き分離可能な凸最適化問題を解くために、慣性項および時間依存の減衰を有する2階連続的動的システムを構築すること。
• リャプノフ関数を用いて、時間 t → ∞ の際のシステムの漸近的収束挙動を分析すること。
• さまざまな減衰係数の選択の下で、双対ギャップおよび制約違反の明示的収束速度を導出すること。
• 動的システムにおける外部摂動の下で収束速度がどのように保たれるかを調査すること。
• 特に変数間の非自明な結合性を有する問題に対して、従来の2階動的システムに関する結果を一般化・改善すること。

提案手法

• プライマルおよびデュアル変数の更新に速度（慣性）項を組み込んだ、時間依存の正の減衰関数 γ(t) および δ(t) を有する2階の慣性プライマル・デュアル動的システムを提案する。
• 連続時間動的システムとしてモデル化し、増強ラグランジアンのヘッセ行列を用いて勾配項を定義し、δ(t)˙λ(t) を用いた遅延付きデュアル変数の更新を導入する。
• システム軌道のエネルギー減衰および収束特性を分析するために、リャプノフ関数アプローチを適用する。
• 特に γ(t) = α/tʳ（r ∈ (−1,1)）の下で、減衰関数の選択に応じたリャプノフ関数の減衰を分析することで収束速度を導出する。
• 外部ノイズ ε(t) を有する摂動版のシステムを検討し、ε(t) に対して可積分性条件を満たす場合に収束速度が保たれることを証明する。
• 微分不等式および積分評価に関する補助的補題を用いて、システム軌道の有界性および減衰推定を確立する。

実験結果

リサーチクエスチョン

• RQ1 時間変動する減衰を有する2階の慣性プライマル・デュアル動的システムにおいて、双対ギャップおよび制約違反の収束速度はどのように達成可能か？
• RQ2 減衰係数 γ(t) の異なる関数的形態がシステムの収束速度にどのように影響するか？
• RQ3 小さな外部摂動の下でも、提案されたシステムの収束速度は保持可能か？
• RQ4 2階微分項（慣性項）は、標準的なプライマル・デュアル法と比較して収束をどのように加速させるか？
• RQ5 t → ∞ の際、システムはどのように漸近的に振る舞い、解の全域的存在性および一意性を保証する条件は何か？

主な発見

• γ(t) = α/tʳ（r ∈ (−1,0]）の場合、双対ギャップ L(x(t),y(t),λ*) − L(x*,y*,λ*) は O(t⁻⁽ʳ⁺¹⁾) の速度で減少し、制約違反 ‖Ax(t)+By(t)−b‖ は O(t⁻⁽ʳ⁺¹⁾ᐟ²) の速度で減少する。
• γ(t) = α/tʳ（r ∈ [0,1)）の場合、双対ギャップは O(t⁻²ʳ) の速度で減少し、制約違反は O(t⁻ʳ) の速度で減少する。これは、r が大きいほど収束が速いことを示している。
• プライマルおよびデュアル速度の全 Variation は ∫ₜ₀^∞ tʳ(‖ẋ(t)‖² + ‖ẏ(t)‖² + ‖λ̇(t)‖²)dt < ∞ を満たし、速度の漸近的消滅を示している。
• 摂動に対してもシステムはロバストである：∫ₜ₀^∞ tʳ‖ε(t)‖dt < ∞ であれば、r ∈ [0,1) の場合に同じ収束速度が保たれ、∫ₜ₀^∞ t⁽ʳ⁺¹⁾ᐟ²‖ε(t)‖dt < ∞ であれば、r ∈ (−1,0] の場合にもロバスト性が保証される。
• 与えられた減衰および摂動条件の下で、t₀ ≥ 1 の場合、解の全域的存在性および一意性が確立されている。
• Zeng ら [39] の先行研究を一般化・改善し、分離可能な凸問題におけるネステロフの加速勾配法の連続時間アナログをプライマル・デュアル設定へ拡張した。