[論文レビュー] A detailed comparative study of open source deep learning frameworks

Ghadeer Al-Bdour, Raffi Al-Qurran+2 more|arXiv (Cornell University)|Feb 25, 2019

Anomaly Detection Techniques and Applications参考文献 41被引用数 11

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）および再帰ニューラルネットワーク（RNN）アーキテクチャを用いて、複数のベンチマークデータセットを用いて性能を評価することで、3つの主要なオープンソースディープラーニングフレームワーク—TensorFlow、Theano、CNTK—の包括的な定量的・定性的比較を提示している。研究では、CNTKがGPUおよびマルチGPU環境において、画像処理、自然言語処理（NLP）、コンピュータビジョンの多様なタスクにおいて、トレーニング速度とリソース効率の両面で一貫して他のフレームワークを上回っていることが判明した。

ABSTRACT

Deep Learning (DL) is one of the hottest trends in machine learning as DL approaches produced results superior to the state-of-the-art in problematic areas such as image processing and natural language processing (NLP). To foster the growth of DL, several open source frameworks appeared providing implementations of the most common DL algorithms. These frameworks vary in the algorithms they support and in the quality of their implementations. The purpose of this work is to provide a qualitative and quantitative comparison among three of the most popular and most comprehensive DL frameworks (namely Google's TensorFlow, University of Montreal's Theano and Microsoft's CNTK). The ultimate goal of this work is to help end users make an informed decision about the best DL framework that suits their needs and resources. To ensure that our study is as comprehensive as possible, we conduct several experiments using multiple benchmark datasets from different fields (image processing, NLP, etc.) and measure the performance of the frameworks' implementations of different DL algorithms. For most of our experiments, we find out that CNTK's implementations are superior to the other ones under consideration.

研究の動機と目的

• 最も普及しているオープンソースディープラーニングフレームワーク—TensorFlow、Theano、CNTK—の包括的かつ実証的な比較を提供すること。
• 異なるハードウェア構成におけるトレーニング速度、リソース使用率、スケーラビリティの観点から、各フレームワークの強みと弱みを特定すること。
• 研究者および実務家が、自身の計算リソースとアプリケーション要件に応じて最も適したフレームワークを選択できるように支援すること。
• 標準ベンチマークデータセットを用いて、画像分類、NLP、動画分析を含む多様なディープラーニングタスクにおけるフレームワークの性能を評価すること。
• 複数のニューラルネットワークアーキテクチャおよびハードウェアプラットフォームにおけるCPUおよびGPU使用率、メモリ消費量、収束速度を分析すること。

提案手法

• 本研究では、Windows 10搭載のラップトップ上で、マルチコアCPU（Intel i7-3820およびXeon E5-2630）と複数のNVIDIA GPU（GTX980、GTX1080、Tesla K80）を用いて、3つのフレームワーク—TensorFlow、Theano、CNTK—を評価した。
• 実験は、画像処理、NLP、動画分析のタスクをカバーする5つのベンチマークデータセット（MNIST、CIFAR-10、IMDB、Self-Driving Car、Penn TreeBank）を用いて実施された。
• 複数のニューラルネットワークアーキテクチャをトレーニングした：全結合ネットワーク、CNN（例：MNISTおよびCIFAR-10用）、RNN（例：IMDBおよびPenn TreeBank用のLSTM）。
• 性能指標には、トレーニング時間、正解率／パープレキシティ、CPUおよびGPU使用率パcent、メモリ使用量、収束に要するエポック数が含まれた。
• フレームワークはCPUおよびGPU構成、ならびに2枚のTesla K80カードを用いたマルチGPU環境でも評価された。
• 結果は詳細な表（表5～表9）に集約され、すべての構成における正解率、使用率、メモリ使用量、収束速度が報告された。

実験結果

リサーチクエスチョン

• RQ1 TensorFlow、Theano、CNTKは、異なるディープラーニングアーキテクチャおよびデータセットにおいて、どのようにトレーニング速度で比較されるか？
• RQ2 どのフレームワークが、効率的なリソース使用率を維持しながらも、最高の正解率または最小のパープレキシティを達成しているか？
• RQ3 単一およびマルチGPU環境、および異なるCPUタイプを含む、さまざまなハードウェア構成において、フレームワークはどのように性能を発揮するか？
• RQ4 各フレームワークにおけるメモリおよびCPU/GPU使用率のパターンは何か？ そして、それらはトレーニング効率にどのように影響するか？
• RQ5 マルチGPU環境において、どのフレームワークが最も効率的な収束速度とスケーラビリティを示しているか？

主な発見

• CNTKは、ほとんどの実験において最も速いトレーニングパフォーマンスを達成しており、特にRNNトレーニング（LSTM）において、他のフレームワークよりも5～10倍速かった。
• IMDBデータセットでは、CNTKはGPU上で2エポックで88.93％の正解率を達成したが、TensorFlowとTheanoは3エポックを要した。また、TheanoはCPU使用率が著しく低く（14.6％）CNTK（94.8％）と比較して非効率であった。
• Self-Driving Carデータセットでは、CNTKはGPU上で32.4％のGPU使用率で99.97％の正解率を達成したが、Theanoは31％のGPU使用率でしか使わず、高い正解率を達成したにもかかわらず、リソースを十分に活用できていないことが示された。
• Penn TreeBankデータセットでは、CNTKはCPU上で最低のパープレキシティ（113.7）を達成し、メモリ使用量も低かった（CPU 1.3％、GPU 2.2％）。これに対してTheanoはCPU 4.1％、GPU 5.4％の使用率を示した。
• TensorFlowは、すべてのデータセットで最も高いメモリ使用率を示した。MNISTではGPUメモリ使用率が5.2％、IMDBでは9.1％であった。一方、CNTKは一貫して最も低いメモリフットプリントを維持した。
• ほとんどのケースで高いCPU使用率を示したが、TheanoはMNIST（14.7％）、CIFAR-10（15.3％）で非常に低いCPU使用率を示しており、CPUに依存するトレーニングシナリオにおいて非効率であることが判明した。