[論文レビュー] SparkNet: Training Deep Networks in Spark

Philipp Moritz, Robert Nishihara+2 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 18被引用数 75

ひとこと要約

SparkNet は Caffe と統合し、スケーラブルで即時利用可能な深層ニューラルネットワークのトレーニングを Apache Spark で可能にする。軽量で通信効率の高い確率的勾配降下法（SGD）の並列化を採用し、帯域幅制限のある環境でも ImageNet のような大規模データセットで顕著な高速化を達成する。チューニングは最小限で、既存のデータパイプラインへの統合もスムーズである。

ABSTRACT

Training deep networks is a time-consuming process, with networks for object recognition often requiring multiple days to train. For this reason, leveraging the resources of a cluster to speed up training is an important area of work. However, widely-popular batch-processing computational frameworks like MapReduce and Spark were not designed to support the asynchronous and communication-intensive workloads of existing distributed deep learning systems. We introduce SparkNet, a framework for training deep networks in Spark. Our implementation includes a convenient interface for reading data from Spark RDDs, a Scala interface to the Caffe deep learning framework, and a lightweight multi-dimensional tensor library. Using a simple parallelization scheme for stochastic gradient descent, SparkNet scales well with the cluster size and tolerates very high-latency communication. Furthermore, it is easy to deploy and use with no parameter tuning, and it is compatible with existing Caffe models. We quantify the dependence of the speedup obtained by SparkNet on the number of machines, the communication frequency, and the cluster's communication overhead, and we benchmark our system's performance on the ImageNet dataset.

研究の動機と目的

• Spark のような汎用バッチ処理フレームワークで、通信集約的な深層学習ワークロードにネイティブに最適化されていない分散トレーニングを可能にすること。
• クラスタ環境における高遅延通信の課題に対処するため、通信効率の高い SGD 並列化方式を設計すること。
• Spark の RDD、SQL クエリ、またはグラフ計算からのデータを直接使用して、データ移動なしに深層ネットワークのトレーニングが可能なユーザーフrndリエントラントインターフェースを提供すること。
• 既存の Caffe モデルとの互換性を確保し、専用ハードウェアを必要としない標準クラウドインfraストラクチャ（例：EC2）でのデプロイを可能にすること。
• シンプルで軽量なアプローチが、現実世界の帯域幅制限環境でもほぼ最適なパフォーマンスを達成できることを示すこと。

提案手法

• SparkNet は、ワーカーとパラメータサーバー間のパラメータ同期の頻度と量を最小限に抑えることで、通信オーバーヘッドを低減するシンプルな確率的勾配降下法（SGD）並列化方式を採用している。
• 関数型スタイルでデータ読み込み（RDD からの読み込み）、モデルトレーニング、評価を可能にする Scala API を介して、Apache Spark にネイティブに統合されている。
• Java ネイティブ アクセス（JNA）とプロトコル バッファを活用し、実行時動的構築と実行により Caffe の深層学習機能を統合している。
• Spark 実行モデル内でのモデル重みと勾配の効率的管理を実現するため、軽量な多次元テンソルライブラリを採用している。
• ワーカーとパラメータサーバー間の通信は、バッチ化されたパラメータ同期によって処理され、ラウンドトリップの頻度を低くすることで、高遅延ネットワークにも耐性を持つ。
• システムは、InfiniBand のような低遅延接続を必要とせず、標準クラスタ、特に EC2 のようなクラウド環境でも即時利用可能に設計されている。

実験結果

リサーチクエスチョン

• RQ1 通信集約的なワークロードに最適化されていない一般的なバッチ処理フレームワーク（例：Spark）において、深層学習トレーニングを効果的かつ効率的にスケーリングできるか？
• RQ2 帯域幅制限のある環境において、クラスタサイズ、通信頻度、ネットワーク遅延の増加に伴う SparkNet のパフォーマンススケーリング特性は？
• RQ3 シンプルで軽量な SGD 並列化方式が、カスタム低レベル深層学習フレームワークと比較してどの程度の競争力を持つパフォーマンスを達成できるか？
• RQ4 データシャッフルやディスク I/O を伴わずに、SQL、グラフ計算、またはストリーミングデータを含む既存のデータ処理パイプラインにモデルトレーニングをシームレスに統合できるか？
• RQ5 実際のクラスタ展開において、通信頻度とトレーニング速度の実用的トレードオフはどのようなものか？

主な発見

• SparkNet は、少数の GPU でも ImageNet ベンチマークで顕著な高速化を達成しており、実世界のデータセットにおける効果的なスケーリングを示している。
• 5 ノードの EC2 クラスタでは、数百メガバイトのモデルに対するパラメータブロードキャストと収集に約 20 秒を要し、AlexNet の 1 ミニバッチ計算には約 2 秒がかかる。
• 帯域幅制限のある環境でも良好なパフォーマンスを発揮し、InfiniBand のような専用ハードウェアを必要とせず、高遅延通信にも耐性を持つ。
• データを SQL、グラフ、またはストリーミングソースから直接統合できるエンドツーエンドのトレーニングパイプラインを可能にし、高コストの I/O やデータ移動を回避する。
• 実装は既存の Caffe モデルと互換性があり、最小限のコード変更で容易に採用・統合可能である。
• シンプルで通信最適化された SGD 方式が、実際の現場環境でもほぼ最適なパフォーマンスを達成できることを示しており、低遅延通信に依存するシステムと比較しても劣らない。