[論文レビュー] A primal-dual method for conic constrained distributed optimization problems

Necdet Serhat Aybat, Erfan Yazdandoost Hamedani|arXiv (Cornell University)|Jul 8, 2016

Distributed Control Multi-Agent Systems被引用数 7

ひとこと要約

本稿では、錐制約を伴うネットワーク上での分散最適化のための原双対アルゴリズムを提案する。これにより、局所的な計算と隣接エージェント間の通信のみを用いて大規模凸問題の分散解法が可能になる。サブ最適性、不実行性、およびコンSENSUS違反に関して、O(1/k) の収束速度を達成し、このクラスの問題において、先行手法を上回る収束速度を実現する。

ABSTRACT

We consider cooperative multi-agent consensus optimization problems over an undirected network of agents, where only those agents connected by an edge can directly communicate. The objective is to minimize the sum of agent-specific composite convex functions over agent-specific private conic constraint sets; hence, the optimal consensus decision should lie in the intersection of these private sets. We provide convergence rates both in sub-optimality, infeasibility and consensus violation; examine the effect of underlying network topology on the convergence rates of the proposed decentralized algorithms; and show how to extend these methods to handle time-varying communications networks and to solve problems with resource sharing constraints.

研究の動機と目的

• エージェント固有の錐制約を伴う大規模凸最適化問題を、隣接エージェント間でのみ通信可能な分散アルゴリズムとして開発すること。
• 静的および時変ネットワークトポロジーの両方において、サブ最適性、不実行性、およびコンセンサス違反の収束を保証すること。
• グローバルリソース共有制約を扱えるように拡張し、局所的およびグローバルな意思決定変数を含む問題の解法を可能にすること。
• 中央集権的なデータ集約を避けることで、プライバシーを保護するとともに、通信およびメモリのオーバーヘッドを低減すること。
• 分散機械学習問題（例：SVMおよびLASSO）における本手法の有効性を、個人情報が保持されたデータを用いて示すこと。

提案手法

• 各エージェントが局所的複合凸目的関数とプライベートな錐制約を有するネットワーク上での問題を、原双対の鞍点問題として定式化する。
• 局所的更新と双対コンセンサスステップを用いた、交替方向乗数法（ADMM）に基づく原双対アルゴリズムを用いる。
• 非滑らかな成分に対しては効率的な近位写像を、錐集合への射影に対しては高価な逆像射影を回避する。
• 静的ネットワークを想定するDPDA-Sおよび時変ネットワークを想定するDPDA-Dの2つの変種を導入し、両者とも局所的計算と隣接エージェント間通信を維持する。
• 双対コンセンサス反復を用いて、グローバル変数の一致を強制し、同時に錐射影を用いてグローバル制約を処理する。
• 原双対ギャップ、不実行性、コンセンサス誤差の解析を通じて収束レートを導出し、O(1/k) 収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 局所的計算と隣接エージェント間通信のみを用いた原双対法が、分散錐制約付き最適化でO(1/k) 収束を達成できるか。
• RQ2 ネットワークトポロジー、特に代数的連結度が、分散アルゴリズムの収束速度に与える影響は何か。
• RQ3 収束保証を維持したまま、時変通信ネットワークに対応できるか。
• RQ4 実世界の問題、特に個人情報が保持されたデータを用いた分散SVMおよびLASSOにおいて、アルゴリズムの性能はいかが。
• RQ5 局所的錐制約とグローバルリソース共有制約を同時に処理できるか。

主な発見

• 提案されたDPDA-SおよびDPDA-Dアルゴリズムは、サブ最適性、不実行性、およびコンセンサス違反に関してO(1/k) の収束速度を達成し、このクラスの問題において最適である。
• 数値実験により、ネットワークの代数的連結度を高めることで収束速度が向上し、サブ最適性およびコンセンサス違反の減少が速くなることが示された。
• 分散SVM問題において、中央集権的SVMと同等の性能を達成しながら、データプライバシーを保護し、通信オーバーヘッドを低減した。
• 本手法は、局所的錐制約（例：正定値）およびグローバルリソース共有制約（例：変数の和が錐内に収束）の両方を効果的に処理できる。
• 特に低連結性トポロジー（代数的連結度が低い）においても、既存の分散手法に比べて収束速度が優れている。
• 可視化比較により、DPDA-Sは中央集権的SVMと同一の解に収束するが、ローカルSVMは共有パラメータのコンセンサスを達成できないことが確認された。