[論文レビュー] Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach

Weijian Li, Xianlin Zeng+2 more|arXiv (Cornell University)|Jan 2, 2020

Distributed Control Multi-Agent Systems参考文献 32被引用数 6

ひとこと要約

本稿では、微分包含と正確なペナルティ再定式化を用いた非滑らかアプローチにより、制約付き最適化のための新規な分散連続時間アルゴリズムを提案する。強凸問題において最適解への指数的収束を達成しており、この設定で初めての結果である。

ABSTRACT

We consider minimizing a sum of non-smooth objective functions with set constraints in a distributed manner. As to this problem, we propose a distributed algorithm with an exponential convergence rate for the first time. By the exact penalty method, we reformulate the problem equivalently as a standard distributed one without consensus constraints. Then we design a distributed projected subgradient algorithm with the help of differential inclusions. Furthermore, we show that the algorithm converges to the optimal solution exponentially for strongly convex objective functions.

研究の動機と目的

• 非滑らか目的関数を含む制約付き最適化のための、指数的収束を達成する分散アルゴリズムの設計。
• 局所的集合制約を伴う分散最適化において、指数的収束を達成するという課題に取り組むこと。先行手法は部分線形または$O(1/t)$のレートにとどまっていた。
• 双対変数を導入せずに、正確なペナルティ法を用いて協調制約を排除し、計算複雑性を低減すること。
• 微分包含とリャプノフ安定性解析を用いて、非滑らかダイナミクスに対する厳密な収束保証を確立すること。

提案手法

• 正確なペナルティ法を用いて、元の制約付き問題を協調項を含まない同等な形に再定式化し、双対変数の必要性を排除する。
• 制約集合の接錐への微分可能な射影演算子を備えた、投影された部分勾配ダイナミクスに基づく分散連続時間アルゴリズムを設計する。
• 部分勾配ダイナミクスの取り扱いを可能にするために、微分包含を用いてモデル化する。これにより、非滑らか目的関数の取り扱いが可能になる。
• 局所的制約集合に適応する時変化する射影演算子を導入し、各ステップでの実行可能性を保証する。
• リャプノフ安定性理論を適用し、強凸性とメトリックの弱正則性仮定を活用して指数的収束を証明する。
• 数値実装のためのオイラー離散化を採用し、固定ステップサイズでも$\mathcal{O}(\alpha)$の近似精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 局所的集合制約を伴う非滑らか・制約付き最適化問題において、分散アルゴリズムが指数的収束を達成できるか？
• RQ2 双対変数を導入せずに、最適性を保ちつつ協調制約をどのように排除できるか？
• RQ3 微分可能な射影演算子は、実行可能性の確保と収束加速にどのような役割を果たすか？
• RQ4 非滑らか性が存在する状況でも、投影された部分勾配ダイナミクスが指数的に収束する条件は何か？
• RQ5 提案されたアルゴリズムは、このクラスの問題に対して、既存のプライマル・デュアル法よりも計算的に効率的か？

主な発見

• 提案アルゴリズムは、強凸目的関数に対して最適解への指数的収束を達成し、$V(t) \leq V(0)e^{-\beta t}$を満たす。ここで$\beta$は強凸性パラメータである。
• 本アルゴリズムは、集合制約を伴う分散非滑らか最適化において、初めて指数的収束を達成した。先行手法の$O(1/\sqrt{k})$および$O(1/t)$レートを上回る性能を示す。
• 正確なペナルティ法により、協調制約が効果的に排除され、設計が単純化され、通信および計算のオーバーヘッドが低減された。
• 数値シミュレーションにより、リャプノフ関数$V(t)$の収束と指数的減衰が確認され、$\log(V(t))$の時間的線形減少が示された。
• 部分勾配ダイナミクスを用いて非滑らか目的関数を処理し、制約集合の接錐への射影により実行可能性を維持する。
• ネットワークトポロジーに対して頑健であることが、4および30エージェントを有するスターモデルおよびサイクルグラフ上で確認された。