[論文レビュー] One weird trick for parallelizing convolutional neural networks

Alex Krizhevsky|arXiv (Cornell University)|Apr 23, 2014

Advanced Neural Network Applications参考文献 5被引用数 984

ひとこと要約

本論文は、畳み込み層ではデータ並列を、全結合層ではモデル並列を組み合わせることで、畳み込みニューラルネットワーク（CNN）のトレーニングにハイブリッド並列化戦略を提案する。この手法は、8 GPUで最大6.25倍の近線形なスループット向上を達成し、高い精度を維持している。従来のすべての層に一様な並列化を適用する手法よりも優れている。

ABSTRACT

I present a new way to parallelize the training of convolutional neural networks across multiple GPUs. The method scales significantly better than all alternatives when applied to modern convolutional neural networks.

研究の動機と目的

• 複数のGPU上で大規模な畳み込みニューラルネットワーク（CNN）を効率的にトレーニングする課題に対処すること。
• 現代のCNNでは、すべての層に一様な並列化（データまたはモデル）を適用する際の制限を克服すること。
• 畳み込み層と全結合層の計算およびパラメータ特性の差を活用することで、トレーニング速度とスケーラビリティを向上させること。
• モデルの精度を損なわせながらも、通信ボトルネックとメモリオーバーヘッドを最小限に抑えること。

提案手法

• 畳み込み層に対しては、各GPUがバッチのサブセットを独立して処理するデータ並列を適用する。
• 全結合層では、最終畳み込み層の後で活性化の計算をGPU間で分散することでモデル並列を実装する。
• 3つの通信スキームを実装する：(a) 全ての活性化を全結合計算の前に集中集約する、(b) 各GPUからバッチを順次ブロードキャストする、(c) 通信と計算のバランスを取るために部分的なデータ共有を分散する。
• 次のバッチのデータ転送と重ねて全結合層での勾配計算を隠ぺいすることで、通信遅延を隠す。
• GPU間での勾配同期を処理できるようにバックプロパゲーションを適応させる。これにより、一貫したパラメータ更新が保証される。
• スケーラビリティを向上させるために、通信量と計算量の比を一定に保つハイブリッド通信戦略（例：スキームc）を採用する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層ではデータ並列、全結合層ではモデル並列を組み合わせることで、一様な並列化戦略よりも優れたスケーラビリティが達成できるか？
• RQ2 通信スキーム（a, b, c）の選択が、マルチGPU環境下でのトレーニング効率とメモリ使用量に与える影響は何か？
• RQ3 複数のGPUで大きな有効バッチサイズを使用する場合、提案手法がモデルの精度をどの程度維持できるか？
• RQ4 本手法は8 GPUを超えてスケーリング可能か？さらに性能を向上させるためにどのようなアーキテクチャ的変更が有効か？

主な発見

• 提案手法は、1 GPUと比較して8 GPUで6.25倍のスループット向上を達成し、トレーニング時間を98.05時間から15.68時間に短縮した。
• 畳み込み層で有効バッチサイズ1024、全結合層で1024を使用した場合、トップ1検証誤差は43.28%に留まり、1 GPUベースラインの42.33%とわずかに高いにとどまった。
• 従来の手法を上回った：Yadanら（2013）は4 GPUで2.2倍のスループット向上、Paineら（2013）は8 GPUで3.2倍のスループット向上を達成したが、誤差率は45%であった。
• スキーム（b）では、各ワーカーが順次アクティベーションをブロードキャストすることで、通信オーバーヘッドの大部分が計算と重ねて隠され、効果的に非同期化された。
• スキーム（c）では、通信処理を全ワーカーに分散することで、GPU数が増加しても通信量と計算量の比が一定を保つことができ、大規模な展開に適したスケーラビリティを実現した。
• 本手法は、特に大規模かつ多様なデータセットにおいて、大きなバッチサイズでの効率的なトレーニングを可能にするとともに、精度の低下を最小限に抑えることができた。