[論文レビュー] Communication-Efficient Distributed Dual Coordinate Ascent

Martin Jaggi, Virginia Smith+5 more|arXiv (Cornell University)|Sep 4, 2014

Stochastic Gradient Optimization Techniques参考文献 16被引用数 114

ひとこと要約

この論文では、同期のたびに複数回の局所更新を実行することで通信オーヘッドを低減する、通信効率の高い分散双対座標降下フレームワークCoCoAを提案する。局所計算と原双対更新を活用することで、Spark上での実世界のデータセットにおいて、最先端のミニバッチSGDおよびSDCAと比較して、0.001の精度に達するまでの収束が最大25倍速くなる。

ABSTRACT

Communication remains the most significant bottleneck in the performance of distributed optimization algorithms for large-scale machine learning. In this paper, we propose a communication-efficient framework, CoCoA, that uses local computation in a primal-dual setting to dramatically reduce the amount of necessary communication. We provide a strong convergence rate analysis for this class of algorithms, as well as experiments on real-world distributed datasets with implementations in Spark. In our experiments, we find that as compared to state-of-the-art mini-batch versions of SGD and SDCA algorithms, CoCoA converges to the same .001-accurate solution quality on average 25x as quickly.

研究の動機と目的

• ノード間のデータ転送が局所計算よりも著しく遅いため、分散機械学習における通信ボトル neck を解消すること。
• 分散最適化における通信と局所計算の間の柔軟なトレードオフを可能にする一般化されたフレームワークを開発すること。
• 学習率の調整を必要とせず、大規模な機械学習モデルを分散システム上で効率的かつスケーラブルに訓練できること。
• 強いデータ依存性の仮定を必要としない通信効率の良い分散アルゴリズムの理論的収束速度解析を提供すること。
• ミニバッチSGDやSDCAなどの既存手法に比べ、時間的・通信的効率において優れた実験的性能を示すこと。

提案手法

• CoCoAは、正則化損失最小化問題を分散環境で解くために原双対分解を用いる。
• 各ワーカーはマスターノードに1つの更新ベクトルを送信する前に、局所データ上で複数回の局所双対最適化法（例：SDCA）の反復を実行する。
• 局所更新を、双対ギャップに基づく停止基準を用いて組み合わせることで、学習率の調整なしに効率的な収束を実現する。
• 通信ラウンド数をH倍削減するため、1ラウンドあたりH回の局所更新を蓄積することで通信を最小限に抑える。
• マスターノードは、非同期的または遅延のある更新に対しても収束保証を維持できる安全な平均化メカニズムを用いて更新を集約する。
• 任意の双対最適化サブルーチンをサポートするため、さまざまな機械学習モデルや損失関数への拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 分散最適化フレームワークは、通信を著しく削減しながらも収束速度を維持または向上させることができるか？
• RQ2 提案されたCoCoAフレームワークは、特に滑らかな損失関数において、内部の局所最適化子の収束速度を引き継ぐか？
• RQ3 局所計算と通信のトレードオフが、異なるデータ環境（n ≫ d および n ≪ d）において実際の収束にどのように影響するか？
• RQ4 学習率の調整やデータ依存性の仮定を必要とせず、ミニバッチSGDやSDCAに比べて優れた性能を達成できるか？
• RQ5 バッチサイズHおよび平均化パラメータβKが収束および通信効率に与える影響は何か？

主な発見

• 壁時計時間の観点から、CoCoAは、ミニバッチSGDおよびSDCAの中で最も性能の高かった手法に比べ、0.001の精度に達するまでの収束が約25倍速い。
• 1回の通信ラウンドあたりH回の局所更新を実行することで、通信量を最大H倍まで削減する。Hは通常、局所データサイズのオーダーである。
• cov、rcv1、imagenetのデータセットにおいて、H=100またはH=1e5であっても、CoCoAはミニバッチSGDおよびSDCAを時間的・通信的効率の両面で一貫して上回る。
• 高次元（n ≪ d）および低次元（n ≫ d）の多様なデータ環境においても、安定した性能を示す。
• 実験結果から、非滑らかな損失（例：SVMで使用されるヒンジ損失）に対しても、理論的分析がカバーしない状況でもCoCoAの性能は安定的かつ優れていることが示された。
• ミニバッチ手法とは異なり、ワーカー数Kの増加によってCoCoAの収束速度が劣化しない。