[論文レビュー] Efficient Communications in Training Large Scale Neural Networks

Linnan Wang, Wei Wu+3 more|arXiv (Cornell University)|Nov 14, 2016

Stochastic Gradient Optimization Techniques参考文献 18被引用数 5

ひとこと要約

本稿では、大規模ニューラルネットワーク学習における通信オーバーヘッドを低減する新しい集合通信技術「Linear Pipelining (LP)」を提案する。このLPは、バルク同期分散勾配降下法（BSP-SGD）において、通信オーバーヘッドを削減する。LPは、双方向交換法よりも最大2倍の帯域幅を達成し、GPU数にかかわらず通信コストが一定を保つ。これにより、スケーラビリティが著しく向上し、ボトル neck を軽減するが、収束特性は維持される。

ABSTRACT

We consider the problem of how to reduce the cost of communication that is required for the parallel training of a neural network. The state-of-the-art method, Bulk Synchronous Parallel Stochastic Gradient Descent (BSP-SGD), requires many collective communication operations, like broadcasts of parameters or reductions for sub-gradient aggregations, which for large messages quickly dominates overall execution time and limits parallel scalability. To address this problem, we develop a new technique for collective operations, referred to as Linear Pipelining (LP). It is tuned to the message sizes that arise in BSP-SGD, and works effectively on multi-GPU systems. Theoretically, the cost of LP is invariant to $P$, where $P$ is the number of GPUs, while the cost of more conventional Minimum Spanning Tree (MST) scales like $O(\log P)$. LP also demonstrate up to 2x faster bandwidth than Bidirectional Exchange (BE) techniques that are widely adopted by current MPI implementations. We apply these collectives to BSP-SGD, showing that the proposed implementations reduce communication bottlenecks in practice while preserving the attractive convergence properties of BSP-SGD.

研究の動機と目的

• BSP-SGDを用いた大規模ニューラルネットワークの並列学習における増大する通信オーバーヘッドに対処する。
• Broadcast や Reduce のような従来の集合通信演算の、GPU数の増加に伴うスケーラビリティの劣化を克服する。
• BSP-SGDで一般的に見られるメッセージサイズに特化した通信技術を設計し、帯域効率を向上させ、遅延を低減する。
• 既存手法が O(log P) とスケーリングするのに対し、GPU数（P）に依存しない通信コストを達成する。
• 実際の学習で通信ボトル neck を著しく軽減しつつ、BSP-SGDの収束特性を維持する。

提案手法

• BSP-SGDで発生するメッセージサイズに最適化された、新しい集合通信技術「Linear Pipelining (LP)」を導入する。
• GPU間でデータ転送を線形にパイプライン化することで、アイドル時間を最小限に抑え、帯域幅の利用を最大化する。
• 最小全域木（MST）手法とは対照的に、GPU数（P）に依存しない通信コストを達成する。
• MPI実装で一般的に使われる双方向交換（BE）手法を上回り、最大2倍の有効帯域幅を達成する。
• 標準的な集合通信演算（パラメータブロードキャストや勾配リダクションなど）を置き換えるために、LPをBSP-SGDフレームワークに統合する。
• 従来の学習フレームワークとの後方互換性を確保するため、同期および収束動作を標準BSP-SGDと同一に保つ。

実験結果

リサーチクエスチョン

• RQ1 GPU数に依存しない一定の通信コストを維持する通信技術を設計できるか？
• RQ2 MPIで広く採用されている双方向交換法と比較して、Linear Pipeliningは帯域幅効率が優れているか？
• RQ3 LPは、収束性を損なわせることなく、大規模ニューラルネットワーク学習における通信ボトル neck をどの程度軽減できるか？
• RQ4 LPは、スケーラビリティとランタイムパフォーマンスを向上させる一方で、BSP-SGDの収束特性を維持できるか？
• RQ5 LPは、さまざまなメッセージサイズを有する実世界のニューラルネットワーク学習ワークロードに効果的に適用可能か？

主な発見

• Linear Pipeliningは、GPU数（P）に依存しない通信コストを達成する。これに対して、MSTベースの手法は O(log P) とスケーリングする。
• 双方向交換法（MPI実装で一般的に使われる）と比較して、LPは最大2倍の有効帯域幅を示す。
• BSP-SGDにLPを統合することで、実際の学習において通信ボトル neck が軽減され、マルチGPUシステムでの高速学習が可能になる。
• 提案手法は、標準BSP-SGDと同等の収束特性を維持しており、学習の安定性とモデルの精度を保証する。
• 通信オーバーヘッドを最小限に抑えることで、特に頻繁なパラメータ同期を要する大規模モデルにおいて、並列スケーラビリティが向上する。
• ニューラルネットワーク学習で一般的に見られるメッセージサイズに特に適しており、実世界のディープラーニングワークロードに最適である。