[論文レビュー] Communication-Efficient Distributed Strongly Convex Stochastic Optimization: Non-Asymptotic Rates

Anit Kumar Sahu, Dušan Jakovetić+2 more|arXiv (Cornell University)|Sep 9, 2018

Distributed Control Multi-Agent Systems参考文献 27被引用数 15

ひとこと要約

本稿では、確率的で徐々に疎になる通信プロトコルを用いて、零次および一次の強い凸問題に対する通信効率の高い分散型確率的最適化手法を提案する。一次手法では通信コスト $C_{\text{comm}}$ に対して非漸近的収束レート $O(1/(C_{\text{comm}})^{4/3-\zeta})$、零次手法では $O(1/(C_{\text{comm}})^{8/9-\zeta})$ を達成し、計算コストの順序最適性を満たしており、先行研究に比べて顕著に通信効率が向上している。

ABSTRACT

We examine fundamental tradeoffs in iterative distributed zeroth and first order stochastic optimization in multi-agent networks in terms of \emph{communication cost} (number of per-node transmissions) and \emph{computational cost}, measured by the number of per-node noisy function (respectively, gradient) evaluations with zeroth order (respectively, first order) methods. Specifically, we develop novel distributed stochastic optimization methods for zeroth and first order strongly convex optimization by utilizing a probabilistic inter-agent communication protocol that increasingly sparsifies communications among agents as time progresses. Under standard assumptions on the cost functions and the noise statistics, we establish with the proposed method the $O(1/(C_{\mathrm{comm}})^{4/3-ζ})$ and $O(1/(C_{\mathrm{comm}})^{8/9-ζ})$ mean square error convergence rates, for the first and zeroth order optimization, respectively, where $C_{\mathrm{comm}}$ is the expected number of network communications and $ζ>0$ is arbitrarily small. The methods are shown to achieve order-optimal convergence rates in terms of computational cost~$C_{\mathrm{comp}}$, $O(1/C_{\mathrm{comp}})$ (first order optimization) and $O(1/(C_{\mathrm{comp}})^{2/3})$ (zeroth order optimization), while achieving the order-optimal convergence rates in terms of iterations. Experiments on real-life datasets illustrate the efficacy of the proposed algorithms.

研究の動機と目的

• 大規模なデータを扱うマルチエージェントネットワークにおける分散型確率的最適化の通信ボトル neck を緩和すること。
• 各ノードの送信量を削減しながら、通信および計算コストの両面で最適な収束レートを維持する手法を開発すること。
• 標準的な滑らかさおよびノイズ仮定の下で、零次および一次の分散型確率的最適化における非漸近的かつ順序最適の収束レートを確立すること。
• 分散環境における通信コスト $C_{\text{comm}}$ と計算コスト $C_{\text{comp}}$ のトレードオフを分析すること。
• 実データセットを用いた実験的検証を通じて、提案手法の有効性を示すこと。

提案手法

• 時間の経過に従い徐々に疎になる通信を実現する確率的エージェント間通信プロトコルを導入し、通信オーバーヘッドを低減する。
• 局所的な SFO オラクルからの確率的勾配クエリとコンSENSUS更新を統合する、新しい一次分散型確率的最適化手法を設計する。
• 局所的な SZO オラクルからの確率的関数値クエリを用い、同様のコンセンサスとイノベーション統合を実現する、対応する零次手法を開発する。
• 反復的更新プロセスにおける収束と安定性のバランスを図るため、減少するステップサイズ則 $\alpha_k \propto 1/k$ を採用する。
• 固定通信グラフを持つネットワーク上での重み付き平均コンセンサスメカニズムを用い、エージェントは局所的推定値と近隣情報に基づいて更新する。
• 通信行列の固有値性質を活用して、平均反復の期待二乗誤差が最適解からどれほど離れているかを評価することで収束を分析する。

実験結果

リサーチクエスチョン

• RQ1 強い凸問題において、分散型確率的最適化手法が通信コストおよび計算コストの両面で順序最適の収束レートを達成できるか？
• RQ2 徐々に疎になる通信プロトコルを用いることで、分散零次および一次最適化における平均二乗誤差の収束レートにどのような影響を与えるか？
• RQ3 現実的なノイズおよび滑らかさ仮定の下で、分散型確率的最適化における通信コストと計算コストのトレードオフはどのようなものか？
• RQ4 提案手法は、既存の手法に比べて顕著に通信効率を向上させながら、最適な計算レートを維持できるか？
• RQ5 目的関数の滑らかさの度合いが、零次分散最適化における達成可能な収束レートにどのように影響を与えるか？

主な発見

• 提案された一次手法は、通信コスト $C_{\text{comm}}$ に対して平均二乗誤差（MSE）収束レート $O(1/(C_{\text{comm}})^{4/3-\zeta})$ を達成し、$\zeta > 0$ は任意に小さい値である。
• 零次手法は、通信効率が向上した非漸近的収束レート $O(1/(C_{\text{comm}})^{8/9-\zeta})$ を達成し、これは初めての結果である。
• 両手法とも順序最適な計算レートを達成している：一次手法では $O(1/C_{\text{comp}})$、零次手法では $O(1/(C_{\text{comp}})^{2/3})$ であり、最良の集中型レートと一致する。
• 収束レートは、強い凸性、勾配分散の有界性、目的関数の2次滑らかさという標準仮定の下で導出された。
• 実データセットを用いた数値実験により、提案アルゴリズムの通信効率が確認され、送信回数を減らしても収束が速いことが示された。
• 分析から、零次手法の通信レートの遅さは、勾配推定に避けがたいバイアスが存在するためであり、これは一次手法には見られない。