[論文レビュー] DeepSpark: Spark-Based Deep Learning Supporting Asynchronous Updates and Caffe Compatibility

Hanjoo Kim, Jae Hong Park+2 more|arXiv (Cornell University)|Feb 26, 2016

Advanced Neural Network Applications参考文献 31被引用数 31

ひとこと要約

DeepSpark は、スケーラブルなデータ管理のための Apache Spark と GPU アクセeleration のための Caffe を統合した分散ディープラーニングフレームワークであり、ロックフリーなエラスティック平均 SGD の非同期学習を可能にしている。ネイティブに Caffe モデルをサポートしており、スケーラブルなクラスタ上でシームレスなデプロイが可能で、学習効率と互換性が向上する。

ABSTRACT

The increasing complexity of deep neural networks (DNNs) has made it challenging to exploit existing large-scale data process pipelines for handling massive data and parameters involved in DNN training. Distributed computing platforms and GPGPU-based acceleration provide a mainstream solution to this computational challenge. In this paper, we propose DeepSpark, a distributed and parallel deep learning framework that simultaneously exploits Apache Spark for large-scale distributed data management and Caffe for GPU-based acceleration. DeepSpark directly accepts Caffe input specifications, providing seamless compatibility with existing designs and network structures. To support parallel operations, DeepSpark automatically distributes workloads and parameters to Caffe-running nodes using Spark and iteratively aggregates training results by a novel lock-free asynchronous variant of the popular elastic averaging stochastic gradient descent (SGD) update scheme, effectively complementing the synchronized processing capabilities of Spark. DeepSpark is an on-going project, and the current release is available at this http URL

研究の動機と目的

• 既存の分散システムを用いて、大規模なデータセットとモデルパラメータの分散ディープニューラルネットワーク学習のスケーリングに取り組む。
• 既存の Caffe ベースのディープラーニングモデルおよびアーキテクチャとのシームレスな統合を可能にする。
• Spark のデータ管理と GPU アクセeleration を通じて、効率的でスケーラブルかつフェイルセーフな分散学習を支援する。
• 学習スループットを向上させるとともに同期のボトルneckを低減するため、新しいロックフリーな非同期 SGD 更新メカニズムを開発する。
• 移行の負荷を最小限に抑えるために、Caffe の入力仕様と学習ワークフローとの互換性を確保する。

提案手法

• 複数のノードにまたがるデータの分散と学習ワークロードの管理に Apache Spark を活用する。
• 各ノードでの GPU アクセeleration を実現するため、Caffe をディープラーニングエンジンとして使用する。
• Spark の実行エンジンを介して、自動的にモデルパラメータとデータを Caffe を実行するノードにパーティション化・配布する。
• 同期遅延なしにノード間でパラメータを更新するため、エラスティック平均 SGD のロックフリーな非同期バージョンを採用する。
• 収束の安定性を向上させるために、繰り返し勾配とモデル更新をエラスティック平均スキームで集約する。
• Caffe のモデル定義ファイルとソルバ構成ファイルを直接受け入れることで、Caffe との互換性を維持する。

実験結果

リサーチクエスチョン

• RQ1 大規模クラスタにまたがるディープラーニング学習を、既存の Caffe ベースのモデルと互換性を保ちつつ、どのように効率的にスケーリングできるか？
• RQ2 ロックフリーな非同期 SGD の変種は、収束品質を損なわずに学習スループットを向上させることができるか？
• RQ3 Apache Spark のデータ管理機能を、Caffe の GPU アクセeleration と効果的に組み合わせて分散ディープラーニングに応用できる範囲はどの程度か？
• RQ4 Spark と Caffe の統合は、大規模ディープラーニングワークロードにおける学習効率とフェイルセーフ性にどのように影響を与えるか？
• RQ5 統合されたフレームワークを用いて、分散データ処理と GPU アクセeleration を組み合わせることで、どの程度のパフォーマンス向上が達成可能か？

主な発見

• DeepSpark は、Spark の分散データ処理機能を活用して、Caffe ベースのモデルを大規模クラスタ上でシームレスに学習可能にしている。
• ロックフリーな非同期 SGD の変種は、同期手法と比較して同期のオーバーヘッドを低減し、学習スループットを向上させた。
• DeepSpark は Caffe のモデルおよびソルバ構成と完全に互換性があり、既存のディープラーニングアーキテクチャを直接再利用可能である。
• フレームワークは複数のノードに効果的にスケーリングされ、データとモデルパラメータの両方が効率的に分散されている。
• Spark のフェイルセーフ性と Caffe の GPU アクセeleration を組み合わせることで、信頼性が高くパフォーマンスの高い分散学習をサポートしている。
• 現在の実装は、分散ディープラーニングワークロードにおける実現可能性とパフォーマンス向上を示しており、継続的な開発と公開が予定されている。