[論文レビュー] A Reliable Effective Terascale Linear Learning System

Alekh Agarwal, Olivier Chapelle+2 more|arXiv (Cornell University)|Oct 19, 2011

Gaussian Processes and Bayesian Inference参考文献 34被引用数 243

ひとこと要約

この論文では、Hadoop互換のAllReduceとハイブリッドオンライン・バッチ最適化戦略を組み合わせることで、1,000ノードのクラスタ上で1秒間に5億の特徴量を処理する、非常にスケーラブルなテラスケール線形学習システムを提示している。このシステムは、スループットと収束速度において先行研究を上回り、通信オーバーヘッドを最小限に抑えつつ、トランズリションの特徴量と数十億の例に対して効率的な線形予測子の学習を可能にしている。

ABSTRACT

We present a system and a set of techniques for learning linear predictors with convex losses on terascale datasets, with trillions of features, {The number of features here refers to the number of non-zero entries in the data matrix.} billions of training examples and millions of parameters in an hour using a cluster of 1000 machines. Individually none of the component techniques are new, but the careful synthesis required to obtain an efficient implementation is. The result is, up to our knowledge, the most scalable and efficient linear learning system reported in the literature (as of 2011 when our experiments were conducted). We describe and thoroughly evaluate the components of the system, showing the importance of the various design choices.

研究の動機と目的

• トランジションの特徴量と数十億の例、数百万のパラメータを扱える、テラスケールのデータセットに対する分散線形学習システムを設計すること。
• Hadoop互換のAllReduceプリミティブを活用することで、大規模分散学習における通信およびI/Oのボトル neck を克服すること。
• 単一ノードの1 Gb/sネットワークインターフェースを上回る学習スループットを達成し、優れたスケーラビリティを示すこと。
• 実際のクラスタ環境下で、オンライン、バッチ、ミニバッチなどのさまざまな分散最適化戦略の性能を評価・比較すること。
• 既存技術（例：L-BFGSのウォームスタート、スパースパラメータ更新）の洗練されたアーキテクチャ統合が、画期的なシステムレベルのパフォーマンスをもたらす可能性があることを示すこと。

提案手法

• システムは、1,000ノード間で勾配とモデルパラメータを効率的に同期するため、Hadoop互換のAllReduceプリミティブを用いることで通信オーバーヘッドを低減している。
• オンライン学習の高速な初期収束とバッチL-BFGSの高精度な最終収束を組み合わせたハイブリッド最適化戦略を採用している。
• アルゴリズムは、非ゼロパラメータ変更のみを送信することで通信コストを最小限に抑えるため、スパースパラメータ更新を活用している。
• L-BFGSのアルゴリズムを、前回の反復からのモデルパラメータでウォームスタートすることで収束速度を向上させ、学習時間を短縮している。
• データは、データシャッフルを最小限に抑え、局所的計算を効率化できるように、特徴に基づいたアプローチでノード間でパーティショニングされている。
• 過剰なデータパーティショニングに起因するデータレプリケーションを避けるために、中央集約型AllReduceパターンを採用することで、ノードごとの通信コストを削減している。

実験結果

リサーチクエスチョン

• RQ1 Hadoop互換のAllReduceプリミティブは、従来のMPIベースやMapReduceベースのアプローチと比較して、より高速かつスケーラブルな分散学習を可能にするか？
• RQ2 オンラインとバッチ最適化戦略を組み合わせることで、純粋なオンラインまたはバッチ手法と比較して、テラスケールデータ上で収束速度とモデル精度が向上するか？
• RQ3 スパースパラメータ更新と効率的な同期プリミティブを用いることで、通信コストをデータセットサイズ未満に抑えることができるか？
• RQ4 システムの学習スループットは、単一マシンのI/O制限と比較してどうなるか？1 Gb/sネットワークインターフェース速度を超えることができるか？
• RQ5 AllReduce、ウォームスタート、特徴に基づいたデータパーティショニングといった、主なアーキテクチャ的選択が、システムのスケーラビリティと効率性に与える相対的な影響は何か？

主な発見

• 1,000ノードのクラスタ上で、1秒間に5億の特徴量を処理する学習スループットを達成し、単一ノードの1 Gb/sネットワークインターフェースを5倍上回った。
• AllReduceの導入により、従来のMapReduceや過剰なパーティショニング戦略に起因するデータレプリケーションの高コスト通信を回避し、1反復あたりの通信コストを低減した。
• ハイブリッドオンライン・バッチ最適化戦略は、純粋なオンラインまたはバッチ手法を著しく上回り、スプライスサイト認識のような複雑な問題において顕著な効果を示した。
• L-BFGSのウォームスタートにより、収束速度と最終的なモデル精度に顕著な改善が見られ、表4および図3で示された。
• Sibyl（以前に発表された大規模システム）で特許を取得したアーキテクチャを採用しているにもかかわらず、通信およびI/O効率の優位性により、本システムのパフォーマンスはSibylを上回った。
• 実験的結果から、$d$ が大きい場合、密度のあるパラメータ更新を伴うミニバッチおよびオンライン手法は、通信コストが著しく高くなり、スパース更新戦略の必要性が裏付けられた。