[論文レビュー] Communication-Efficient Algorithms for Decentralized and Stochastic Optimization

Guanghui Lan, Soomin Lee+1 more|arXiv (Cornell University)|Jan 14, 2017

Distributed Control Multi-Agent Systems参考文献 59被引用数 8

ひとこと要約

本稿では、局所的部分問題の解法中に通信をスキップすることで、分散型および確率的最適化におけるノード間通信ラウンドを著しく削減する分散通信スライディング（DCS）アルゴリズムを導入する。凸関数に対してはO(1/ε)、強い凸関数に対してはO(1/√ε)の通信ラウンドを達成し、最適収束速度を維持する。同時に、最適なO(1/ε²)およびO(1/ε)の部分勾配評価バウンドを保持し、類似した精度条件下で中央集権的アルゴリズムと同等の複雑度を達成する。

ABSTRACT

We present a new class of decentralized first-order methods for nonsmooth and stochastic optimization problems defined over multiagent networks. Considering that communication is a major bottleneck in decentralized optimization, our main goal in this paper is to develop algorithmic frameworks which can significantly reduce the number of inter-node communications. We first propose a decentralized primal-dual method which can find an $ε$-solution both in terms of functional optimality gap and feasibility residual in $O(1/ε)$ inter-node communication rounds when the objective functions are convex and the local primal subproblems are solved exactly. Our major contribution is to present a new class of decentralized primal-dual type algorithms, namely the decentralized communication sliding (DCS) methods, which can skip the inter-node communications while agents solve the primal subproblems iteratively through linearizations of their local objective functions. By employing DCS, agents can still find an $ε$-solution in $O(1/ε)$ (resp., $O(1/\sqrtε)$) communication rounds for general convex functions (resp., strongly convex functions), while maintaining the $O(1/ε^2)$ (resp., $O(1/ε)$) bound on the total number of intra-node subgradient evaluations. We also present a stochastic counterpart for these algorithms, denoted by SDCS, for solving stochastic optimization problems whose objective function cannot be evaluated exactly. In comparison with existing results for decentralized nonsmooth and stochastic optimization, we can reduce the total number of inter-node communication rounds by orders of magnitude while still maintaining the optimal complexity bounds on intra-node stochastic subgradient evaluations. The bounds on the subgradient evaluations are actually comparable to those required for centralized nonsmooth and stochastic optimization.

研究の動機と目的

• 分散最適化における高い通信コスト、特に通信が主なボトル neck となるマルチエージェントネットワークの課題に対処すること。
• 滑らかでないおよび確率的最適化問題の両方において、最適収束速度を維持しながらノード間通信を最小限に抑えるアルゴリズムを開発すること。
• エージェントが各ステップで通信を必要としないで局所的部分問題を反復的に解けるようにし、合計通信ラウンド数を削減すること。
• 中央集権的メソッドと同等の通信複雑度を達成しながら、最適な部分勾配評価バウンドを維持すること。
• ノイズのある部分勾配がのみ利用可能な確率的設定にまでフレームワークを拡張し、ストリーミングおよび分散推論応用に適用可能にすること。

提案手法

• 局所的部分問題を正確に解く場合に、凸で滑らかでない問題に対してO(1/ε)の通信ラウンドを達成する分散プライマル・デュアル法を提案する。
• 局所的目的関数の線形化近似を活用することで、反復的局所的部分問題の解法中にノード間通信をスキップする分散通信スライディング（DCS）フレームワークを導入する。
• 通信を延期しながらデュアル変数の更新を維持するスライディング機構を採用し、収束保証を損なわずに通信頻度を低減する。
• ノイズのあるまたは確率的な部分勾配が利用可能な問題に対応するための確率的対応版、SDCSを設計し、ストリーミングおよびオンライン設定での通信効率を確保する。
• 収束の安定化と通信効率の向上を図るため、適応的ステップサイズとモーメンタムに類似した項を含む重み付き平均化スキームを採用する。
• 大偏差およびマルティンググ・ディファレンス列解析を用いて、確率的設定下での部分勾配ノイズと収束の確率的バウンドを証明する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない凸問題において、収束速度を損なわずに通信ラウンドをO(1/ε)まで削減することは可能か？
• RQ2 局所的部分問題の解法を反復的かつ不正確に行う場合でも、通信ラウンド数が増加しないか？
• RQ3 確率的最適化のように、部分勾配にノイズがある状況でも通信効率を維持できるか？
• RQ4 中央集権的メソッドと同等の通信複雑度を達成しながら、最適な部分勾配評価バウンドを維持することは可能か？
• RQ5 ストリーミングデータや最小限の通信で可能な分散統計的推論を扱えるように、フレームワークを拡張可能か？

主な発見

• DCSアルゴリズムは、一般の凸関数に対してはO(1/ε)、強い凸関数に対してはO(1/√ε)の通信ラウンドを達成し、局所的部分問題の不正確な解法に対しても有効である。
• 凸関数に対してはO(1/ε²)、強い凸関数に対してはO(1/ε)の内、ノード内での部分勾配評価総数が常に有界であり、中央集権的滑らかでない最適化の最適複雑度と一致する。
• 確率的設定では、SDCS手法が通信効率を維持しながら、類似した精度条件下で中央集権的確率的手法と同等の最適な部分勾配評価複雑度を達成する。
• 理論的解析により、通信スライディング機構が、不正確な局所的解法やノイズのある部分勾配が存在する場合でも収束を劣化させないことが確認された。
• マルティンググ・ディファレンス列解析を用いて、部分勾配ノイズおよびデュアル変数更新の確率的バウンドを確立し、不確実性下での収束の強健性を保証した。
• 従来の分散手法と比較して、通信ラウンド数を桁違いに削減したが、収束速度や部分勾配複雑度に妥協を生じさせなかった。