[論文レビュー] Efficient Distributed Online Prediction and Stochastic Optimization with Approximate Distributed Mini-Batches

Konstantinos I. Tsianos, Michael Rabbat|arXiv (Cornell University)|Mar 3, 2014

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、合計サンプル数を表す $m$ を用いて $\mathcal{O}(\sqrt{m})$ の最適なレグレットバウンドを達成する、gossipに基づく分散最適化手法を提案する。この手法は、近似分散平均化を用いるが、確率的最適化においてほぼ線形スケーリングを示し、良好に接続されたネットワーク上では、$\mathcal{O}(\frac{1}{n \epsilon^2})$ ラウンド、各ラウンドで $\mathcal{O}(\log n)$ 回のgossip反復を要する。

ABSTRACT

We study distributed methods for online prediction and stochastic optimization. Our approach is iterative: in each round nodes first perform local computations and then communicate in order to aggregate information and synchronize their decision variables. Synchronization is accomplished through the use of a distributed averaging protocol. When an exact distributed averaging protocol is used, it is known that the optimal regret bound of $\mathcal{O}(\sqrt{m})$ can be achieved using the distributed mini-batch algorithm of Dekel et al. (2012), where $m$ is the total number of samples processed across the network. We focus on methods using approximate distributed averaging protocols and show that the optimal regret bound can also be achieved in this setting. In particular, we propose a gossip-based optimization method which achieves the optimal regret bound. The amount of communication required depends on the network topology through the second largest eigenvalue of the transition matrix of a random walk on the network. In the setting of stochastic optimization, the proposed gossip-based approach achieves nearly-linear scaling: the optimization error is guaranteed to be no more than $\epsilon$ after $\mathcal{O}(\frac{1}{n \epsilon^2})$ rounds, each of which involves $\mathcal{O}(\log n)$ gossip iterations, when nodes communicate over a well-connected graph. This scaling law is also observed in numerical experiments on a cluster.

研究の動機と目的

• 近似通信プロトコルを用いる状況でも最適なレグレット性能を維持する分散オンライン予測および確率的最適化手法の開発を目的とする。
• 通信オーバーヘッドのため正確な平均化が実用的でない分散システムにおける同期の課題に対処することを目的とする。
• ノード数および所望の精度に関して、最適化誤差低減のほぼ線形スケーリングを達成することを目的とする。
• ネットワークトポロジーが、ランダムウォーク遷移行列の2番目に大きな固有値を介して収束に与える影響を分析することを目的とする。
• 分散ミニバッチ設定において、正確な平均化と同等のレグレットおよび誤差バウンドを近似分散平均化が達成できることを示すこと

提案手法

• 正確な平均化の代わりに、近似分散平均化を実行するgossipベースのプロトコルを用いる。
• 各ノードが隣接ノードからの局所的平均値を用いて、自身の意思決定変数を反復的に更新する分散平均化プロトコルを採用する。
• 平均化プロトコルの収束速度は、ネットワークグラフ上のランダムウォーク遷移行列の2番目に大きな固有値に依存する。
• 最適なレグレットスケーリングを維持するために、近似平均化プロトコルを分散ミニバッチフレームワークに統合する。
• 最適化の各ラウンドには、十分な平均化精度を達成するため $\mathcal{O}(\log n)$ 回のgossip反復が必要である。
• 本手法は、良好に接続されたグラフ上では、$\mathcal{O}(\frac{1}{n \epsilon^2})$ ラウンド後に最適化誤差が $\epsilon$ 以下に保証されることを保証する。

実験結果

リサーチクエスチョン

• RQ1 分散オンライン学習において、正確な平均化の代わりに近似分散平均化を用いた場合でも、最適なレグレットスケーリングを維持できるか？
• RQ2 ランダムウォーク遷移行列の2番目に大きな固有値として特徴付けられるネットワークトポロジーは、分散最適化手法の収束速度にどのように影響するか？
• RQ3 提案されたgossipベースの手法は、ノード数および所望の精度に関して、最適化誤差低減のほぼ線形スケーリングを達成できるか？
• RQ4 確率的最適化において、最適なレグレットおよび誤差バウンドを維持するため、1ラウンドあたりに必要なgossip反復回数はどの程度か？
• RQ5 大規模な分散システムにおいて通信オーバーヘッドを低減しながら、正確な平均化プロトコルと同等の性能を達成できるか？

主な発見

• 提案されたgossipベースの手法は、近似分散平均化を用いても、正確な平均化プロトコルと同等の最適なレグレットバウンド $\mathcal{O}(\sqrt{m})$ を達成する。
• ノードが良好に接続されたグラフ上で通信する場合、最適化誤差は $\mathcal{O}(\frac{1}{n \epsilon^2})$ ラウンド後に $\epsilon$ 以下に保証される。
• 各ラウンドには、最適な収束速度を維持するための十分な平均化精度を確保するため $\mathcal{O}(\log n)$ 回のgossip反復が必要である。
• 収束速度は、ランダムウォーク遷移行列の2番目に大きな固有値によって支配され、これによりネットワークトポロジーとアルゴリズムのパフォーマンスの関係が明確に結びつけられる。
• クラスタ上での数値実験により、実際のところ観察されたほぼ線形スケーリング法則が確認された。
• 近似通信を用いても、最適なレグレットおよび誤差バウンドを維持できることから、通信の不正確さに対して強いロバストネスを示している。