[論文レビュー] Linear Convergence of First- and Zeroth-Order Primal-Dual Algorithms for Distributed Nonconvex Optimization

Xinlei Yi, Shengjun Zhang+3 more|arXiv (Cornell University)|Dec 27, 2019

Distributed Control Multi-Agent Systems参考文献 65被引用数 7

ひとこと要約

本稿では、ネットワーク上の非凸最適化のための分散型の一次およびゼロ次勾配のプライマル・デュアルアルゴリズムを提案し、グローバルコスト関数がポリャク–ロジャシエヴィッチ（P–Ł）条件を満たす場合に、グローバル最適解への線形収束を達成する。これは強凸性よりも弱い条件である。ゼロ次バージョンは決定的勾配推定器を用い、同一条件下で一次法と同等の収束速度を達成する。

ABSTRACT

This paper considers the distributed nonconvex optimization problem of minimizing a global cost function formed by a sum of local cost functions by using local information exchange. We first consider a distributed first-order primal-dual algorithm. We show that it converges sublinearly to a stationary point if each local cost function is smooth and linearly to a global optimum under an additional condition that the global cost function satisfies the Polyak-Łojasiewicz condition. This condition is weaker than strong convexity, which is a standard condition for proving linear convergence of distributed optimization algorithms, and the global minimizer is not necessarily unique. Motivated by the situations where the gradients are unavailable, we then propose a distributed zeroth-order algorithm, derived from the considered first-order algorithm by using a deterministic gradient estimator, and show that it has the same convergence properties as the considered first-order algorithm under the same conditions. The theoretical results are illustrated by numerical simulations.

研究の動機と目的

• 強凸性よりも弱い条件下での分散非凸最適化における線形収束保証のギャップを埋める。
• グローバルコスト関数がP–Ł条件を満たす場合に、線形収束を示す分散型一次プライマル・デュアルアルゴリズムを開発する。
• 一次アルゴリズムを、決定的勾配推定器を用いたゼロ次バージョンに拡張し、収束特性を保つ。
• 勾配が利用できない状況でも、同一のP–Ł条件の下で線形収束が達成可能であることを示す。
• 20台のエージェントと50次元の変数を用いた分散型バイナリ分類問題における数値シミュレーションを通じて理論的結果を検証する。

提案手法

• 局所的な情報交換を用いて、局所関数の和として構成されるグローバルコスト関数を最小化する分散型一次プライマル・デュアルアルゴリズムを提案する。
• 滑らかな局所コスト関数に対して、静止点へのサブ線形収束を確立し、P–Ł条件を満たす場合にグローバル最適解への線形収束を示す。
• 関数値の差分に基づく決定的勾配推定器を用いて勾配を置き換えることで、ゼロ次アルゴリズムを導出する。
• 同一の仮定の下で、ゼロ次アルゴリズムが一次アルゴリズムと同等の収束特性を有することを証明する。
• リャプノフ関数と収縮の議論を用いて収束を分析し、最適解集合までの距離をバインドする重要な不等式を導出する。
• 20台のエージェントと50次元の変数を有する非凸バイナリ分類問題におけるシミュレーションを通じて、理論的発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 強凸性よりも弱い条件下で、分散型一次プライマル・デュアルアルゴリズムが非凸問題に対して線形収束を達成できるか？
• RQ2 勾配が利用できない状況において、一次アルゴリズムのゼロ次バージョンが同じ収束速度を維持できるか？
• RQ3 P–Ł条件は、強凸性と比較して、分散非凸最適化における線形収束を実現する上でどのように機能するか？
• RQ4 関数値クエリ数と通信ラウンド数という観点から、一次法とゼロ次法の性能のトレードオフは何か？
• RQ5 ゼロ次法における決定的勾配推定が、P–Ł条件の下で線形収束を維持できるか？

主な発見

• 提案された一次プライマル・デュアルアルゴリズムは、グローバルコスト関数がポリャク–ロジャシエヴィッチ（P–Ł）条件を満たす場合に、グローバル最適解への線形収束を達成する。これは強凸性よりも弱い条件である。
• 決定的勾配推定を用いて導出されたゼロ次アルゴリズムは、同一の仮定の下で一次法と同等の線形収束速度を達成する。
• 収束速度は、最適解集合までの距離が指数関数的に減少するという意味で線形であり、減少率はP–Ł定数とアルゴリズムパラメータに依存する。
• 数値的シミュレーションにより、DGD、DFO-GTA、xFILTERといった最先端手法と比較して、一次アルゴリズムが収束速度において優れていることが示された。
• ゼロ次アルゴリズムは初期段階では一次アルゴリズムと同等の性能を示すが、最終的にはサブ線形収束に低下することが明らかになり、勾配情報の有効性が顕著に示された。
• 図2および図3に示すように、関数値クエリ数と通信効率の観点から、関連するDDZO-GTA [65] よりも本稿で提案されたゼロ次アルゴリズムが優れた性能を示した。