[論文レビュー] An Orchestrated Empirical Study on Deep Learning Frameworks and Platforms

Qianyu Guo, Xiaofei Xie+7 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Neural Network Applications参考文献 37被引用数 5

ひとこと要約

本論文は、MNISTおよびCIFAR-10データセットを用いて、サーバー、ウェブ、モバイルプラットフォームにおけるTensorFlow、Theano、Torchの包括的な実験的比較を実施する。実験により、フレームワークやプラットフォーム間で顕著なパフォーマンス、精度、耐性の差が明らかになり、重大な互換性の問題が特定された。また、将来のクロスフレームワークおよびクロスプラットフォームのDLシステム開発を可能にする、公開可能なツールチェーンを提案する。

ABSTRACT

Deep learning (DL) has recently achieved tremendous success in a variety of cutting-edge applications, e.g., image recognition, speech and natural language processing, and autonomous driving. Besides the available big data and hardware evolution, DL frameworks and platforms play a key role to catalyze the research, development, and deployment of DL intelligent solutions. However, the difference in computation paradigm, architecture design and implementation of existing DL frameworks and platforms brings challenges for DL software development, deployment, maintenance, and migration. Up to the present, it still lacks a comprehensive study on how current diverse DL frameworks and platforms influence the DL software development process. In this paper, we initiate the first step towards the investigation on how existing state-of-the-art DL frameworks (i.e., TensorFlow, Theano, and Torch) and platforms (i.e., server/desktop, web, and mobile) support the DL software development activities. We perform an in-depth and comparative evaluation on metrics such as learning accuracy, DL model size, robustness, and performance, on state-of-the-art DL frameworks across platforms using two popular datasets MNIST and CIFAR-10. Our study reveals that existing DL frameworks still suffer from compatibility issues, which becomes even more severe when it comes to different platforms. We pinpoint the current challenges and opportunities towards developing high quality and compatible DL systems. To ignite further investigation along this direction to address urgent industrial demands of intelligent solutions, we make all of our assembled feasible toolchain and dataset publicly available.

研究の動機と目的

• 異なるディープラーニングフレームワークがDLソフトウェアシステムの開発、デプロイ、移行に与える影響を調査すること。
• フレームワークやプラットフォームがモデルの精度、パフォーマンス、耐性に与える影響を体系的・比較的に調査する研究の不足に対処すること。
• 実際のデプロイ環境における、フレームワークおよびプラットフォーム間の互換性問題や実装の不一致を同定すること。
• 大規模かつ再現可能なDLフレームワークおよびプラットフォームに関する実験的調査を可能にする、検証済みで再利用可能なツールチェーンおよびデータセットを提供すること。
• 異種環境下でもポータブルで高品質かつ相互運用可能なディープラーニングシステムの開発を支援すること。

提案手法

• サーバー/デスクトップ、ウェブ（TensorFlow.js経由）、モバイル（TensorFlow Lite経由）の3つのプラットフォームで、最新の3つのディープラーニングフレームワーク—TensorFlow、Theano、Torch—を比較評価した。
• MNISTおよびCIFAR-10データセットを用い、同じDNNアーキテクチャとハイパーパrameterを用いて、すべてのフレームワーク・プラットフォーム組み合わせで学習を実施した。
• トレーニング精度、推論パフォーマンス、モデルサイズ、 adversarial 例に対する耐性、エネルギー効率の4つの主要指標を測定・比較した。
• 再現性と公平性を確保するため、標準化されたベンチマーキング手順を採用した。
• すべての構成における学習済みモデルおよび実行ログの包括的データセットを収集・検証した。
• 完全に構成済みで手動で検証済みのツールチェーンを公開し、将来的なDLフレームワークおよびプラットフォーム相互運用性に関する実験的調査を支援した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 同じDNN設計とランタイム学習設定のもとで、異なるDLフレームワークに実装された場合、実行時の挙動やトレーニングパフォーマンスに差が生じるか？
• RQ2 RQ2: 同じ設計とランタイム設定で学習されたDLモデルが、異なるDLフレームワークでトレーニングされた場合、各プラットフォームにおける予測パフォーマンスに差異は生じるか？
• RQ3 RQ3: フレームワークおよびプラットフォームの違いが、特に adversarial 攻撃に対するモデルの耐性に与える影響は何か？
• RQ4 RQ4: フレームワークおよびプラットフォーム間で、モデルサイズ、推論速度、エネルギー消費量のパフォーマンスと効率のトレードオフはどのようなものか？

主な発見

• 同じDNNアーキテクチャとトレーニング設定であっても、フレームワークによって精度やパフォーマンスにばらつきが生じ、設計が同一であっても実装依存の挙動が確認された。
• 特にモバイルおよびウェブプラットフォームへのデプロイにおいて、推論速度およびモデルサイズに顕著なパフォーマンス差が観察された。
• adversarial 例に対する耐性はフレームワークによって著しく異なり、一部のモデルは使用したフレームワークによってはより脆弱性を示した。
• フレームワーク間でのモデル変換により、測定可能な精度損失と互換性の問題が生じ、特にデスクトップからモバイルまたはウェブプラットフォームへの移行時によく見られた。
• エネルギー効率および計算効率は、フレームワークやプラットフォームによって顕著に異なり、モバイル最適化されたフレームワーク（例：TensorFlow Lite）はモバイルデバイス上でのパフォーマンスが優れていた。
• 本研究では、現在のフレームワークがプラットフォーム間で一貫した挙動を示さないことが判明し、再トレーニングやファインチューニングなしではクロスプラットフォームでのデプロイや再利用が困難であることが明らかになった。