[論文レビュー] Comparative Study of Deep Learning Software Frameworks

Soheil Bahrampour, Naveen Ramakrishnan+2 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 17被引用数 87

ひとこと要約

この論文は、Caffe、Neon、TensorFlow、Theano、Torch の5つのディープラーニングフレームワークを、拡張性、ハードウェア利用効率、CPUおよびGPU環境下での速度の観点から評価している。主な発見として、TheanoとTorchは拡張性で優れている。TorchはCPU性能と大規模なネットワークのGPUデプロイで優れている。一方、TheanoはLSTM学習と小規模な畳み込みネットワークで最良のGPUパフォーマンスを達成している。

ABSTRACT

Deep learning methods have resulted in significant performance improvements in several application domains and as such several software frameworks have been developed to facilitate their implementation. This paper presents a comparative study of five deep learning frameworks, namely Caffe, Neon, TensorFlow, Theano, and Torch, on three aspects: extensibility, hardware utilization, and speed. The study is performed on several types of deep learning architectures and we evaluate the performance of the above frameworks when employed on a single machine for both (multi-threaded) CPU and GPU (Nvidia Titan X) settings. The speed performance metrics used here include the gradient computation time, which is important during the training phase of deep networks, and the forward time, which is important from the deployment perspective of trained networks. For convolutional networks, we also report how each of these frameworks support various convolutional algorithms and their corresponding performance. From our experiments, we observe that Theano and Torch are the most easily extensible frameworks. We observe that Torch is best suited for any deep architecture on CPU, followed by Theano. It also achieves the best performance on the GPU for large convolutional and fully connected networks, followed closely by Neon. Theano achieves the best performance on GPU for training and deployment of LSTM networks. Caffe is the easiest for evaluating the performance of standard deep architectures. Finally, TensorFlow is a very flexible framework, similar to Theano, but its performance is currently not competitive compared to the other studied frameworks.

研究の動機と目的

• 主なディープラーニングフレームワークの、多様なアーキテクチャおよび学習プロトコルをサポートする拡張性を評価すること。
• マルチスレッドCPUおよびGPU（NVIDIA Titan X）構成におけるハードウェア利用効率を評価すること。
• 複数のネットワークタイプにおける、学習（勾配計算）およびデプロイ（フォワードパス）の両方の速度パフォーマンスをベンチマークすること。
• リカレントネットワークにおける高度な畳み込みアルゴリズムおよび可変長シーケンス処理のサポートを分析すること。
• 実世界の応用におけるフレームワーク選定のための、強みと限界を実務家に提供すること。

提案手法

• ベンチマークは、標準的なディープラーニングアーキテクチャ（全結合、畳み込み、リカレント（LSTM）ネットワーク）を用いた単一マシン上で実施された。
• パフォーマンス指標には、勾配計算時間（学習）およびフォワードパス時間（デプロイ）を含み、CPU（マルチスレッド）およびGPU（NVIDIA Titan X）で測定した。
• 畳み込みネットワークに関しては、さまざまな畳み込みアルゴリズム（例：FFTベース）のサポートおよびパフォーマンスを評価した。
• LSTM学習には、可変長シーケンスを用いたIMDBセンチメント分析データセットを採用し、マスキングおよびパディング技術を適用した。
• すべてのフレームワークは同一の条件下でテストされた：固定バッチサイズ（16）、シャッフルなし、一貫したデータローディングを実施し、公平な比較を確保した。
• 2016年2月現在、活発な開発とコミュニティサポートがあるフレームワークに焦点を当て、LSTMやcuDNNサポートを欠くものは除外した。

実験結果

リサーチクエスチョン

• RQ1 どのディープラーニングフレームワークが、多様なネットワークアーキテクチャおよび学習プロトコルのサポートにおいて最も高い拡張性を提供するか？
• RQ2 異なるネットワークタイプにおいて、フレームワークのCPUおよびGPU利用効率はどのように比較されるか？
• RQ3 各フレームワークの勾配計算（学習）およびフォワードパス（デプロイ）における相対的パフォーマンスはどのようになるか？
• RQ4 RNNにおける可変長シーケンス処理や最適化された畳み込みアルゴリズムといった高度な機能は、各フレームワークでどの程度サポートされているか？
• RQ5 特にGPUアクセラレーション環境下において、各フレームワークの現在のパフォーマンスボトルネックおよび制限要因は何か？

主な発見

• TheanoとTorchは、最も拡張性の高いフレームワークであり、Theanoは柔軟なアーキテクチャ設計のための記号的微分を提供し、Torchは強力なコミュニティ主導の拡張性を有している。
• CPU環境では、Torchがすべてのテストアーキテクチャで最良のパフォーマンスを達成し、次いでTheano、Neonが最も悪いパフォーマンスを示した。
• GPU環境では、大規模な畳み込みおよび全結合ネットワークにおいてTorchが最も高速なパフォーマンスを発揮し、次いでTheano、Neonが続いた。Neonは大規模な畳み込みネットワークにおいて非常に競争力がある。
• 小規模な畳み込みおよび全結合ネットワークのGPUベース学習では、Theanoが他のフレームワークを上回った。一方、LSTMネットワークでは、cuDNN v3を用いた場合、Theanoが最良のパフォーマンスを達成した。
• Caffeは、ハードコーディングを伴わずに標準的なディープアーキテクチャを評価するのに最も使いやすい。
• TensorFlowは、ハイブリッドデバイスのサポートという高い柔軟性を有するが、Theano、Torch、Neonに比べて単一GPU環境下ではパフォーマンスが劣る。