[論文レビュー] Theano-based Large-Scale Visual Recognition with Multiple GPUs

Wei‐Guang Ding, Ruoyan Wang+2 more|arXiv (Cornell University)|Jan 1, 2014

Advanced Image and Video Retrieval Techniques参考文献 8被引用数 5

ひとこと要約

この論文は、1つのGPUでCaffeと同等の性能を達成する、複数のGPUにわたる単純なデータ並列化を用いた、最初のオープンソースでTheanoベースのAlexNetの実装を提示している。このアプローチにより、効率的なマルチGPUトレーニングを伴うPythonベースのディープラーニングを用いた大規模な視覚認識が可能になる。

ABSTRACT

In this report, we describe a Theano-based AlexNet (Krizhevsky et al., 2012) implementation and its naive data parallelism on multiple GPUs. Our performance on 2 GPUs is comparable with the state-of-art Caffe library (Jia et al., 2014) run on 1 GPU. To the best of our knowledge, this is the first open-source Python-based AlexNet implementation to-date.

研究の動機と目的

• 大規模な視覚認識を実現するためのTheanoベースのAlexNetの実装を目的とする。
• 単純なデータ並列化を用いて効率的なマルチGPUトレーニングを可能にする。
• 既存のCaffeベースの実装に対するオープンソースでPythonベースの代替手段を提供する。
• 複数のGPUを用いた最新のフレームワークと同等の性能を示す。

提案手法

• 著者らは、Theanoディープラーニングフレームワークを用いてAlexNetを実装した。
• バッチを2つのGPUに分割することで、単純なデータ並列化を適用した。
• 各GPUは共有されたモデルパラメータを用いて入力データのサブセットを独立して処理した。
• 各GPU間で前向きおよび後向き伝搬の後、モデルパラメータを同期した。
• トレーニングパイプラインは完全に微分可能であり、標準的な誤差逆伝播法を用いて最適化された。
• 再現性およびさらなる研究を支援するため、実装はオープンソースとして公開された。

実験結果

リサーチクエスチョン

• RQ1 TheanoベースのAlexNet実装は、Caffeのような最新のフレームワークと同等の性能を達成できるか？
• RQ2 2つのGPUにわたるAlexNetのトレーニングにおいて、単純なデータ並列化はどの程度効果的か？
• RQ3 Pythonベースのディープラーニングフレームワークは、最適化されたC++フレームワークと同等の性能を達成できるか？
• RQ4 このアプローチを用いたマルチGPUトレーニングのスケーラビリティおよび効率性はいかがなものか？

主な発見

• 2つのGPUを用いたTheanoベースAlexNet実装は、1つのGPUでCaffeを実行した場合と同等の性能を達成した。
• この実装は、複数GPU対応を備えた最初のオープンソースでPythonベースのAlexNetである。
• 単純なデータ並列化は、顕著なオーバーヘッドを伴わず、2つのGPUにわたるトレーニングを効果的にスケーリングした。
• このフレームワークは、完全な再現性と拡張性を備えた大規模な視覚認識を可能にした。