[論文レビュー] Accelerated primal-dual methods for linearly constrained convex optimization problems

Hao Luo|arXiv (Cornell University)|Sep 26, 2021

Stochastic Gradient Optimization Techniques参考文献 60被引用数 13

ひとこと要約

本稿では、線形制約付き凸最適化問題に対して、新規のリャプノフ関数を用いて連続時間で指数的減衰を確立する、加速された原双対ダイナミカルシステムを提案する。陰的・半陰的・陽的スキームによる離散化により、原双対ギャップ、目的関数残差、実行可能性違反について非エルゴード的 $O(1/k^2)$ 収束率を有する新たな原双対法が得られ、数値的に検証され、分散型分散最適化に応用されて優れた性能を示す。

ABSTRACT

This work proposes an accelerated primal-dual dynamical system for affine constrained convex optimization and presents a class of primal-dual methods with nonergodic convergence rates. In continuous level, exponential decay of a novel Lyapunov function is established and in discrete level, implicit, semi-implicit and explicit numerical discretizations for the continuous model are considered sequentially and lead to new accelerated primal-dual methods for solving linearly constrained optimization problems. Special structures of the subproblems in those schemes are utilized to develop efficient inner solvers. In addition, nonergodic convergence rates in terms of primal-dual gap, primal objective residual and feasibility violation are proved via a tailored discrete Lyapunov function. Moreover, our method has also been applied to decentralized distributed optimization for fast and efficient solution.

研究の動機と目的

• アフィン制約付き凸最適化問題に対して、新規のリャプノフ関数を用いて指数的減衰を達成する加速された原双対ダイナミカルシステムの構築を目的とする。
• 連続モデルの陰的・半陰的・陽的時間離散化を通じて、離散原双対法を導出する。
• 統一された離散リャプノフ関数を用いて、3つの離散化タイプすべてについて、原双対ギャップ、原問題の目的関数残差、実行可能性違反の非エルゴード的収束レート $O(1/k^2)$ を確立する。
• 提案された半陰的スキームを分散型分散最適化に応用し、既存手法と比較して優れた性能を示す。
• 連続時間ダイナミクスとリャプノフに基づく解析を用いた、加速された原双対アルゴリズムを設計するための体系的フレームワークの提供を目的とする。

提案手法

• 時間スケーリングを導入した2階加速原双対フロー系を導入し、特化したリャプノフ関数の指数的減衰を実現する。
• 連続ダイナミカルシステムの陰的・半陰的・陽的時間離散化を適用し、3つのクラスの原双対アルゴリズムを生成する。
• 特に半陰的スキームにおける部分問題の特別な構造を活用して、大規模問題に適した効率的な内部ソルバーを設計する。
• すべての3つの離散化タイプについて、非エルゴード的収束レートを証明するために、統一された離散リャプノフ関数を用いる。
• ネットワークを混合行列付きのグラフとしてモデル化することで、半陰的スキームを分散型分散最適化に適応する。
• 数値実験を通じて収束レートの検証と、集中型および分散型の両設定において AQP および Extra 手法との性能比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 線形制約付き凸最適化において、原双対ギャップの指数的減衰を達成する連続時間原双対ダイナミカルシステムを設計できるか？
• RQ2 そのようなシステムの時間離散化により、非エルゴード的 $O(1/k^2)$ 収束率を有する新たな原双対法が得られるか？
• RQ3 提案手法は、既存手法と比較してより速い収束を示す分散型分散最適化に効果的に応用可能か？
• RQ4 目的関数ギャップおよび実行可能性違反の観点から、提案手法の収束特性は AQP や Extra と比べてどのように異なるか？
• RQ5 今後の研究において、リャプノフ関数フレームワークを不正確な計算および非滑らか目的関数に拡張可能か？

主な発見

• 提案された加速原双対フローは、連続時間において新規のリャプノフ関数の指数的減衰を達成し、高速収束を保証する。
• 陰的および半陰的時間離散化により、原双対ギャップ、目的関数残差、実行可能性違反について非エルゴード的 $O(1/k^2)$ 収束率を有する原双対法が得られる。
• 陽的スキームは完全線形化されたプロキシマル ALM に相当するが、半陰的スキームは構造的で部分問題を有することで効率的な内部ソルバーの実装が可能になる。
• 集中型問題における数値結果から、提案手法（APD）は AQP や Extra よりも高速に収束し、$O(1/k^2)$ の非線形収束率を達成することが示された。
• 分散型ロジスティック回帰において、APD は球面およびトーラスグラフの両方で高速な線形収束を示し、後者には理論的線形収束を有するが依然として AQP や Extra を上回った。
• 半陰的スキームは分散型分散最適化に成功裏に拡張され、収束速度および混合行列の選択に対するロバストネスの観点で、既存手法を上回る優れた性能を示した。