[論文レビュー] Comparative Study of Caffe, Neon, Theano, and Torch for Deep Learning

Soheil Bahrampour, Naveen Ramakrishnan+2 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 7被引用数 103

ひとこと要約

この論文は、Caffe、Neon、Theano、Torchの4つのフレームワークを、拡張性、ハードウェア利用効率、CPUおよびGPU（NVIDIA Titan X）におけるさまざまなディープラーニングアーキテクチャの下での速度について比較している。主な発見として、TorchはCPUおよび大規模なネットワークのGPUでの性能が優れている。TheanoはLSTMの学習およびデプロイで最優れであり、Caffeは標準的なアーキテクチャの評価において最適である。

ABSTRACT

Deep learning methods have resulted in significant performance improvements in several application domains and as such several software frameworks have been developed to facilitate their implementation. This paper presents a comparative study of four deep learning frameworks, namely Caffe, Neon, Theano, and Torch, on three aspects: extensibility, hardware utilization, and speed. The study is performed on several types of deep learning architectures and we evaluate the performance of the above frameworks when employed on a single machine for both (multi-threaded) CPU and GPU (Nvidia Titan X) settings. The speed performance metrics used here include the gradient computation time, which is important during the training phase of deep networks, and the forward time, which is important from the deployment perspective of trained networks. For convolutional networks, we also report how each of these frameworks support various convolutional algorithms and their corresponding performance. From our experiments, we observe that Theano and Torch are the most easily extensible frameworks. We observe that Torch is best suited for any deep architecture on CPU, followed by Theano. It also achieves the best performance on the GPU for large convolutional and fully connected networks, followed closely by Neon. Theano achieves the best performance on GPU for training and deployment of LSTM networks. Finally Caffe is the easiest for evaluating the performance of standard deep architectures.

研究の動機と目的

• Caffe、Neon、Theano、Torchの4つの主要なディープラーニングフレームワークの拡張性、ハードウェア利用効率、および速度を評価・比較すること。
• 畳み込みネットワークや再帰的ネットワークを含む多様なディープラーニングアーキテクチャにおけるフレームワークのパフォーマンスを評価すること。
• CPUおよびGPU環境下での勾配計算時間（学習）およびフォワードパス時間（デプロイ）を測定すること。
• 各フレームワーク内でのさまざまな畳み込みアルゴリズムのサポートおよびパフォーマンスを分析すること。
• CPU推論、GPU学習、標準アーキテクチャの評価といった特定のユースケースに最も適したフレームワークを特定すること。

提案手法

• CPU（マルチスレッド）およびGPU（NVIDIA Titan X）設定の単一マシン上で各フレームワークをベンチマークすること。
• 畳み込みネットワークや全結合ネットワークを含む複数のディープラーニングアーキテクチャにおけるパフォーマンスを評価すること。
• 学習効率の主な指標として勾配計算時間、デプロイパフォーマンスの指標としてフォワードパス時間を測定すること。
• フレームワーク間でのさまざまな畳み込みアルゴリズムのサポートおよび実行速度を評価すること。
• 一貫性のある比較を確保するため、標準化されたデータセットおよびネットワーク設定を使用すること。
• 現実の使用状況を反映させるために、学習（勾配計算）および推論（フォワードパス）ワークロードの両方を焦点にすること。

実験結果

リサーチクエスチョン

• RQ1 どのフレームワークがカスタムディープラーニングアーキテクチャの拡張性が最も高いですか？
• RQ2 フレームワークは、学習および推論におけるCPUおよびGPU利用効率でどのように比較されますか？
• RQ3 どのフレームワークが大規模なディープネットワークにおける最速の勾配計算時間を達成していますか？
• RQ4 どのフレームワークがデプロイドモデルの最良のフォワードパスパフォーマンスを提供していますか？
• RQ5 フレームワークは、さまざまな畳み込みアルゴリズムのサポートおよび最適化をどれほど効果的に行っていますか？

主な発見

• TheanoとTorchは、カスタムネットワークの変更を相対的に簡単にサポートできる、最も拡張性の高いフレームワークである。
• Torchは、評価されたすべてのディープラーニングアーキテクチャにおいて、CPUでのパフォーマンスが最も優れており、他のフレームワークを上回っている。
• GPUでは、Torchが大規模な畳み込みネットワークおよび全結合ネットワークで最良のパフォーマンスを発揮し、Neonに次いで続く。
• Theanoは、LSTMネットワークの学習およびデプロイにおいてGPUパフォーマンスが最良であり、他のフレームワークを上回っている。
• Caffeは、特に使いやすさとパフォーマンス測定の観点から、標準的なディープラーニングアーキテクチャの評価において最も簡潔で効果的なフレームワークである。
• パフォーマンスの順位はネットワークの種類によって異なり、どのフレームワークもすべての指標およびアーキテクチャで優位に立つわけではない。