[論文レビュー] Distributed Optimization of Nonconvex Functions over Time-Varying Graphs

Bryan Van Scoy, Laurent Lessard|arXiv (Cornell University)|May 28, 2019

Distributed Control Multi-Agent Systems参考文献 6被引用数 4

ひとこと要約

本稿では、時間変動する有向グラフ上で非凸局所関数の平均を最小化するための新規分散最適化アルゴリズムを提案する。通信と計算の動的バランスをとることで、中央集権的勾配降下法と同等の収束速度を達成し、分散型ターゲット局所化の事例によって検証された。

ABSTRACT

We consider the distributed optimization problem where a group of agents seeks to cooperatively compute the optimizer of the average of local functions over a time-varying directed communication network. To solve this problem, we propose a novel algorithm which adjusts the ratio between the number of communications and computations to achieve fast convergence. In particular, the iterates of our algorithm converge to the optimizer at the same rate as those of centralized gradient descent in terms of the number of computations. We compare our algorithm with other known algorithms on a distributed target localization problem.

研究の動機と目的

• 動的で時間変動する有向ネットワークにおける非凸関数の分散最適化を扱う。エージェントが協力して局所関数の平均を最小化することを目的とする。
• 計算の観点から中央集権的勾配降下法と同等の収束速度を達成するアルゴリズムを設計する。通信制約に適応可能であることを目的とする。
• 通信と計算ステップの比率を調整することで、分散環境における効率性を向上させる。
• 実世界の分散型ターゲット局所化問題におけるアルゴリズムの性能を検証する。

提案手法

• 収束速度の最適化を図るために、通信ステップと計算ステップの間で動的調整メカニズムを採用する。
• 時間変動する有向グラフ上で動作し、柔軟で現実的なネットワークトポロジーを許容する。
• 反復計算の収束速度が、計算回数に関して中央集権的勾配降下法と同等になることを保証する。
• 局所勾配情報とコンSENSUSに基づく更新を用いて、ネットワーク全体のエージェントを調整する。
• 非凸性の仮定の下で収束解析を実施し、凸設定を超えた結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 非凸関数に対して、計算の観点から中央集権的勾配降下法と同等の収束速度を達成できる分散アルゴリズムは存在するか？
• RQ2 時間変動するネットワークにおいて、通信と計算の動的バランスが収束速度に与える影響は何か？
• RQ3 通信-計算比を適応的に調整することで、分散非凸最適化で得られる性能向上はどの程度か？
• RQ4 実際の分散型ターゲット局所化タスクにおいて、アルゴリズムはどのようにスケーリングするか？

主な発見

• 提案されたアルゴリズムは、計算回数の観点から中央集権的勾配降下法と同等の収束速度を達成する。
• 時間変動する有向通信グラフでも、収束が速く保たれる。これは、静的または無向グラフよりも挑戦が大きい。
• 通信と計算の動的調整により、固定比率アプローチに比べて効率性が向上する。
• 分散型ターゲット局所化問題における実験的評価により、収束速度と精度の両面で従来手法を上回ることが確認された。