[論文レビュー] Performance Evaluation of Deep Learning Tools in Docker Containers

Pengfei Xu, Shaohuai Shi+1 more|arXiv (Cornell University)|Nov 9, 2017

Advanced Neural Network Applications参考文献 28被引用数 7

ひとこと要約

この論文は、Dockerコンテナとネイティブホストシステムの両方でディープラーニングツールを実行した際のパフォーマンスオーバーヘッドを評価している。CPU、GPU、I/Oワークロードにおけるベンチマークと、TensorFlow や MXNet などの人気フレームワークにおける実際の学習ワークロードを用いた分析から、計算タスクおよびI/O操作において顕著なパフォーランス低下が見られず、Dockerコンテナが最小限のオーバーヘッドでディープラーニングアプリケーションをデプロイするための実用的で効率的なソリューションであることが示された。

ABSTRACT

With the success of deep learning techniques in a broad range of application domains, many deep learning software frameworks have been developed and are being updated frequently to adapt to new hardware features and software libraries, which bring a big challenge for end users and system administrators. To address this problem, container techniques are widely used to simplify the deployment and management of deep learning software. However, it remains unknown whether container techniques bring any performance penalty to deep learning applications. The purpose of this work is to systematically evaluate the impact of docker container on the performance of deep learning applications. We first benchmark the performance of system components (IO, CPU and GPU) in a docker container and the host system and compare the results to see if there's any difference. According to our results, we find that computational intensive jobs, either running on CPU or GPU, have small overhead indicating docker containers can be applied to deep learning programs. Then we evaluate the performance of some popular deep learning tools deployed in a docker container and the host system. It turns out that the docker container will not cause noticeable drawbacks while running those deep learning tools. So encapsulating deep learning tool in a container is a feasible solution.

研究の動機と目的

• Dockerコンテナがディープラーニングアプリケーションに与えるパフォーマンスへの影響を体系的かつ評価すること。
• 共有コンピューティング環境における複雑なソフトウェア依存関係やバージョンの衝突を管理する課題に対処すること。
• コンテナ化がCPU、GPU、I/O集約的ディープラーニングワークロードにおいて顕著なパフォーマンスオーバーヘッドを引き起こすかどうかを特定すること。
• 生産環境および共有コンピューティング環境におけるディープラーニングツールのDockerコンテナによるデプロイの可能性を評価すること。
• ディープラーニングフレームワークのコンテナ化とネイティブデプロイのパフォーランス同等性に関する実証的証拠を提供すること。

提案手法

• CPU用にHPLとHPCG、GPU用にGPUカーネルを用いたシステムレベルのパフォーマンスベンチマーク。
• 順方向アクセスおよびランダムアクセスの両方を想定したiopingを用いたディスクI/Oパフォーマンスの評価、直接I/Oおよびキャッシュベースのアクセスを含む。
• Caffe、CNTK、MXNet、TensorFlow、Torch の5つのディープラーニングフレームワークについて、複数のニューラルネットワークアーキテクチャとデータセットを用いてエンドツーエンドの学習時間を測定。
• Dockerコンテナとホストシステムの両方で学習パフォーランスを比較し、バッチ処理時間および最初のエポックにおけるI/O効果に注目。
• I/Oパフォーランスの差異に与えるプリロードおよびキャッシュメカニズムの影響を分析。
• GPUアクセスの互換性を保証し、コンテナ内でのGPUアクセcelerated学習パフォーマンスを測定するためにNVIDIA Dockerを活用。

実験結果

リサーチクエスチョン

• RQ1 Dockerコンテナでディープラーニングワークロードを実行すると、CPUおよびGPUで測定可能なパフォーマンスオーバーヘッドが生じるか？
• RQ2 Dockerコンテナ化が、特に順方向アクセスおよびランダムアクセスのパターンにおいてディスクI/Oパフォーマンスに与える影響は何か？
• RQ3 Dockerコンテナで実行されるディープラーニングツールとホストシステム上でネイティブに実行される場合との間で、エンドツーエンドの学習パフォーマンスに差異は生じるか？
• RQ4 なぜMXNetはDockerコンテナ内での最初のエポックの学習がホストよりも著しく速いのか？
• RQ5 複数のディープラーニングフレームワークおよびバージョンが共有システム上で共存する場合、Dockerコンテナはパフォーマンス劣化を伴わずに効果的に対応できるか？

主な発見

• Dockerコンテナ上でのCPUおよびGPUワークロードでは、ほとんどのベンチマークで5％以内の差異にとどまり、顕著なパフォーマンスオーバーヘッドが見られない。
• Dockerコンテナ上での順方向I/Oパフォーマンスはホストシステムと同等であり、特に顕著なI/Oボトルネックがないことが示された。
• 1台のディスクドライブでは、ランダムアクセスI/OパフォーマンスがDockerコンテナでホストシステムよりも速く、NANDキャッシュのより効果的な利用に起因する。
• MXNetの最初のエポックの学習時間は、Dockerコンテナ内がホストよりも最大77.2％速く、初期I/O処理の差異に起因するが、その後のエポックではこの差は縮む。
• 総じて、Dockerコンテナ上でのディープラーニング学習ワークロードは、ホストシステムと同等またはそれ以上のパフォーマンスを示し、顕著なパフォーマンス的欠損は認められなかった。
• 本研究では、Dockerによるディープラーニングツールのコンテナ化が、共有環境およびクラウド環境における実用的で効率的なデプロイメント戦略であることが確認された。