[論文レビュー] Communication-Efficient Algorithms For Distributed Optimization

Mota, João F. C.|arXiv (Cornell University)|Dec 1, 2013

Distributed Control Multi-Agent Systems参考文献 208被引用数 4

ひとこと要約

本稿では、各ノードが局所的コスト関数を保持し、それらの和を最小化するために協調するネットワークにおける通信効率の高い分散最適化アルゴリズムを提案する。著者らは、新しい分類スキームを用いて関数依存性のスパarsityを活用することで、ADMMに基づくアルゴリズムを設計し、通信ラウンド数を削減した。平均化、SVM、圧縮センシング、モデル予測制御の各分野において、先行手法を上回る優れた性能を示した。

ABSTRACT

This thesis is concerned with the design of distributed algorithms for solving optimization problems. We consider networks where each node has exclusive access to a cost function, and design algorithms that make all nodes cooperate to find the minimum of the sum of all the cost functions. Several problems in signal processing, control, and machine learning can be posed as such optimization problems. Given that communication is often the most energy-consuming operation in networks, it is important to design communication-efficient algorithms. The main contributions of this thesis are a classification scheme for distributed optimization and a set of corresponding communication-efficient algorithms. The class of optimization problems we consider is quite general, since each function may depend on arbitrary components of the optimization variable, and not necessarily on all of them. In doing so, we go beyond the common assumption in distributed optimization and create additional structure that can be used to reduce the number of communications. This structure is captured by our classification scheme, which identifies easier instances of the problem, for example the standard distributed optimization problem, where all functions depend on all the components of the variable. In our algorithms, no central node coordinates the network, all the communications occur between neighboring nodes, and the data associated with each node is processed locally. We show several applications including average consensus, support vector machines, network flows, and several distributed scenarios for compressed sensing. We also propose a new framework for distributed model predictive control. Through extensive numerical experiments, we show that our algorithms outperform prior distributed algorithms in terms of communication-efficiency, even some that were specifically designed for a particular application.

研究の動機と目的

• 分散最適化における高い通信コストを低減するため、ノード間のメッセージ数を最小化すること。
• 各関数が変数の部分集合にのみ依存する分散最適化の一般枠組みを構築することにより、構造的特徴を活用可能にする。
• 中央集権的制御を一切行わず、各ノードで局所的処理を実行する通信効率の高いアルゴリズムを設計すること。
• 変数依存構造に基づいた分散最適化問題の分類スキームを設計し、より容易に解けるインスタンスを特定すること。
• 平均化、サポートベクターマシン、ネットワークフロー、圧縮センシングを含む多様な応用分野に本手法を適用し、効率の向上を実証すること。

提案手法

• ブロック構造変数とコンSENSUS制約を用いた分散最適化問題の再定式化を提案する。
• 再定式化された問題に2ブロックADMMを適用し、プライマルおよび双対変数の交互最小化により分散更新を可能にする。
• 変数のスパarsity（各関数が成分の部分集合にのみ依存する）を活用して部分問題を分解し、通信量を削減する。
• 対称性とペアワイズ制約を活用して双対変数の閉形式更新を導出することで、双対更新を局所的および隣接ノードの推定値にのみ依存する形に簡略化する。
• 通信オーバーヘッドを低減し、効率的な局所的更新を可能にするために、新たな双対変数集約 γ(p),k_l = ∑_{j∈Np∩Vl} λpj,k_l を導入する。
• コンセンサス制約を簡略化するための恒等式 z{p,j},k+1_l = (x(p),k+1_l + x(j),k+1_l)/2 を用いることで、必要なメッセージ数を削減する。

実験結果

リサーチクエスチョン

• RQ1 局所的コスト関数の依存構造をどのように活用することで、分散最適化における通信量を削減できるか？
• RQ2 変数のスパarsityに基づいた分散最適化問題の分類スキームを設計可能か？また、そのような分類はより効率的なアルゴリズムの設計に繋がるか？
• RQ3 関数が変数の部分集合にのみ依存する場合に、ADMMに基づくアルゴリズムをどの程度簡略化し、通信効率を高められるか？
• RQ4 本手法は、通信効率に優れた最先端手法と比較して、収束速度およびメッセージ数の点でどの程度優れているか？
• RQ5 本フレームワークは、サポートベクターマシン、圧縮センシング、分散モデル予測制御といった実世界の問題に、より高い効率で適用可能か？

主な発見

• 提案手法は、個別応用に特化して設計された既存の分散最適化手法と比較して、通信ラウンド数を著しく削減した。
• 分類スキームにより、完全に結合された問題など、より単純な問題インスタンスが特定可能となり、それらに特化したより効率的なアルゴリズムの設計が可能になった。
• 対称的な双対変数初期化を用いることで、双対更新が z{p,j},k+1_l = (x(p),k+1_l + x(j),k+1_l)/2 に簡略化され、通信複雑度が低減した。
• 平均化およびサポートベクターマシンの分野における広範な数値実験により、本手法が著しく削減されたメッセージ伝送で収束を達成することが実証された。
• 本フレームワークにより、問題を提示された最適化構造に再定式化することで、効率的な分散モデル予測制御が可能になった。
• 集約された双対変数の更新式 γ(p),k+1_l = γ(p),k_l + (ρ/2) ∑_{j∈Np∩Vl} (x(p),k+1_l - x(j),k+1_l) が導出され、局所的計算が可能になり、グローバルな調整への依存度が低下した。