[論文レビュー] Zeroth Order Nonconvex Multi-Agent Optimization over Networks

Davood Hajinezhad, Mingyi Hong+1 more|arXiv (Cornell University)|Oct 27, 2017

Distributed Control Multi-Agent Systems参考文献 46被引用数 40

ひとこと要約

本稿では、勾配情報にアクセスできない非凸マルチエージェントネットワークにおいて、関数値のみを用いるゼロ次オーダー分散最適化アルゴリズムを提案する。勾配追跡と分散低減を組み合わせたプライマル・デュアル法を導入し、一般のネットワークトポロジーにおいて、定常点への非線形収束を達成する。収束速度は局所的な滑らかさとネットワーク構造に依存する。

ABSTRACT

In this paper, we consider distributed optimization problems over a multi-agent network, where each agent can only partially evaluate the objective function, and it is allowed to exchange messages with its immediate neighbors. Differently from all existing works on distributed optimization, our focus is given to optimizing a class of non-convex problems, and under the challenging setting where each agent can only access the zeroth-order information (i.e., the functional values) of its local functions. For different types of network topologies such as undirected connected networks or star networks, we develop efficient distributed algorithms and rigorously analyze their convergence and rate of convergence (to the set of stationary solutions). Numerical results are provided to demonstrate the efficiency of the proposed algorithms.

研究の動機と目的

• 勾配情報にアクセスできない分散非凸最適化を、マルチエージェントネットワークで実現すること。
• ゼロ次オーダー情報制約下で、一般のネットワークトポロジー（無向、スターバイアス）を想定した効率的なアルゴリズムの開発。
• 関数値評価のみを用いて、非凸問題におけるグローバル収束と収束速度解析を確立すること。
• 勾配の計算が現実的に不可能な応用分野において、一次オーダー手法の限界を克服すること。
• 定常解への収束に関する理論的保証を、定常ステップサイズと限られた通信量の下で提供すること。

提案手法

• 局所関数情報のネットワーク全体への伝搬を実現するため、勾配追跡を組み合わせたプライマル・デュアルアルゴリズムを提案。
• 関数評価のみを用いて有限差分近似により勾配を推定するゼロ次オラクルを用いる。
• 収束の安定性と速度を向上させるために、分散低減技術を導入。
• 最適化問題における滑らかでない正則化項を処理するために、プロキシマル作用素を適用。
• 計算負荷を低減するため、エージェント全体に対して一様分布でランダムにブロック座標を選択するスケーマを設計。
• 微分可能であることを保証し、勾配推定を可能にするために、パラメータμを用いた滑らか化された目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 関数値のみと勾配情報なしで、分散非凸最適化を達成できるか？
• RQ2 関数値フィードバックと限られた通信量の下で、分散非凸問題に対する収束保証をどのように確立できるか？
• RQ3 ネットワークトポロジーと局所的滑らかさの性質が、ゼロ次オーダー分散アルゴリズムの収束速度にどのように影響するか？
• RQ4 ゼロ次オーダー分散非凸最適化において、定常ステップサイズを用いて高速収束を達成できるか？
• RQ5 勾配推定の分散が、アルゴリズムの収束挙動に与える影響は何か？

主な発見

• 定常ステップサイズ下で、定常点集合への非線形収束がO(1/T)の速度で達成される。
• 収束速度は局所的滑らかさパラメータの和∑√Lμ,iに依存し、局所関数が滑らかであるほど性能が向上する。
• ノイズのある関数評価に対しても収束を維持でき、収束誤差はサンプリング分散に起因しO(1/J)で有界である。
• 理論的解析により、期待最適性ギャップE[Ψᵤ]がO(1/T) + O(1/J)で有界であることが示された。ここでTは反復回数、Jはサンプルサイズである。
• ネットワーク構造に対してロバストであり、無向およびスターバイアストポロジーの両方で収束が保証されている。
• 数値実験により、提案アルゴリズムの効率性とスケーラビリティが、さまざまな非凸テスト問題において検証された。