[論文レビュー] Snap ML: A Hierarchical Framework for Machine Learning

Celestine Dünner, T. A. Parnell+6 more|arXiv (Cornell University)|Mar 16, 2018

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

Snap ML は、GPU アクセeleration、パイプライン化されたオフコア計算、およびマルチノードクラスタ間の最適化された通信パターンを活用することで、一般化線形モデル（GLM）の学習を高速化する階層的機械学習フレームワークです。Criteo Terabyte Click Logs データセットにおいて、TensorFlow よりも 500× の高速化を達成し、1.5 分でロジスティック回帰モデルを学習しました。これは、これまでに報告された結果よりも10倍以上速く、記録的な速さです。

ABSTRACT

We describe a new software framework for fast training of generalized linear models. The framework, named Snap Machine Learning (Snap ML), combines recent advances in machine learning systems and algorithms in a nested manner to reflect the hierarchical architecture of modern computing systems. We prove theoretically that such a hierarchical system can accelerate training in distributed environments where intra-node communication is cheaper than inter-node communication. Additionally, we provide a review of the implementation of Snap ML in terms of GPU acceleration, pipelining, communication patterns and software architecture, highlighting aspects that were critical for achieving high performance. We evaluate the performance of Snap ML in both single-node and multi-node environments, quantifying the benefit of the hierarchical scheme and the data streaming functionality, and comparing with other widely-used machine learning software frameworks. Finally, we present a logistic regression benchmark on the Criteo Terabyte Click Logs dataset and show that Snap ML achieves the same test loss an order of magnitude faster than any of the previously reported results, including those obtained using TensorFlow and scikit-learn.

研究の動機と目的

• クラウドおよびエンタープライズ環境における大規模機械学習モデルの高速でスケーラブルかつコスト効率の良い学習に対する増大する需要に対応すること。
• scikit-learn や Spark MLlib、TensorFlow などの既存フレームワークにおける性能ボトルネック、特にメモリ制限と非効率な GPU 利用率を克服すること。
• 現代のコンピューティングクラスタのハードウェアスタックを模倣する階層的システムを設計し、通信とリソース使用を最適化すること。
• GPU メモリに収まらないデータセットに対して、効率的なオフコアパイプラインを用いて大規模 GLM の高性能学習を可能にすること。

提案手法

• CoCoA フレームワークの階層的拡張を提案し、ノード、GPU、CPU-GPU データフローの各レベルで最適化を実現する。
• CPU、GPU、インターコネクトリソースの利用を最大化するパイプライン化されたオフコア確率的座標降下法を採用する。
• ストリーミング CUDA 操作を用いた GPU ベースのローカルソルバーを活用し、データをチャンク単位で処理することでメモリ圧力を軽減する。
• ノード内通信をノード間通信よりも優先する階層的通信パターンを実装し、スケーラビリティを向上させる。
• 低レベルの GPU カーネルと効率的なデータストリーミングを統合した最適化されたソフトウェアアーキテクチャを採用し、無駄な待機時間を最小限に抑える。
• 動的ロードバランシングとフェイルセーフを備えた、シングルノードおよびマルチノード学習を両方サポートする。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアスタックを模倣する階層的機械学習フレームワークは、分散 GLM 学習において収束速度の向上とリソース利用効率の向上を達成できるか？
• RQ2 ノード内通信を優先する階層的通信—特にマルチノード環境におけるノード間通信の削減—は、学習パフォーマンスにどのように影響するか？
• RQ3 GPU アクセeleration とパイプライン化されたオフコア処理を組み合わせることで、大規模 GLM の学習時間をどの程度短縮できるか？
• RQ4 実世界のベンチマークにおいて、Snap ML は TensorFlow や Vowpal Wabbit、Spark MLlib といった最先端フレームワークと比べて、パフォーマンスと精度で優れているか？

主な発見

• Snap ML は、Criteo Terabyte Click Logs データセットに対してロジスティック回帰モデルを 1.5 分で学習し、テスト損失を 0.128 に達成した。
• これは、60 個のワーカーマシンと 29 個のパラメータマシンを用いて TensorFlow で達成された以前で最も速かった結果よりも 46× の高速化である。
• 同じハードウェア構成、同じ最適化手法、同じ入力関数を用いても、Snap ML は TensorFlow よりも 500× 以上高速に学習を完了した。
• 階層的通信パターンにより、ノード間通信のオーバーヘッドが顕著に低減され、マルチノード環境での学習が加速した。
• パイプライン化されたオフコアパイプラインにより、GPU の利用効率が最大化され、GPU メモリを超えるデータセットの効率的処理が可能になった。
• Snap ML は、シングルノードおよびマルチノード両方の展開において、scikit-learn や Vowpal Wabbit、Spark MLlib、TensorFlow を上回る学習速度を示した。