[論文レビュー] Is Network the Bottleneck of Distributed Training?

Zhen Zhang, Chaokun Chang+4 more|arXiv (Cornell University)|Jun 17, 2020

Ferroelectric and Negative Capacitance Devices参考文献 23被引用数 5

ひとこと要約

この論文は、分散ディープラーニング学習のスケーラビリティにネットワーク帯域幅が制限要因であるかどうかを調査し、AWSにおける実際のパフォーマンスを測定している。一般的な考えとは対照的に、ネットワークは未利用であることが判明した（100 Gbpsリンクでわずか約32 Gbpsの使用）。100％のネットワーク利用度を達成することで、勾配圧縮を用いなくてもほぼ線形的なスケーリングが可能となり、ネットワーク転送の最適化がアプリケーションレベルの技術（例：圧縮）よりも重要であることが示された。

ABSTRACT

Recently there has been a surge of research on improving the communication efficiency of distributed training. However, little work has been done to systematically understand whether the network is the bottleneck and to what extent. In this paper, we take a first-principles approach to measure and analyze the network performance of distributed training. As expected, our measurement confirms that communication is the component that blocks distributed training from linear scale-out. However, contrary to the common belief, we find that the network is running at low utilization and that if the network can be fully utilized, distributed training can achieve a scaling factor of close to one. Moreover, while many recent proposals on gradient compression advocate over 100x compression ratio, we show that under full network utilization, there is no need for gradient compression in 100 Gbps network. On the other hand, a lower speed network like 10 Gbps requires only 2x--5x gradients compression ratio to achieve almost linear scale-out. Compared to application-level techniques like gradient compression, network-level optimizations do not require changes to applications and do not hurt the performance of trained models. As such, we advocate that the real challenge of distributed training is for the network community to develop high-performance network transport to fully utilize the network capacity and achieve linear scale-out.

研究の動機と目的

• 分散ディープラーニング学習におけるネットワーク帯域幅が真のボトルネックかどうかを体系的に評価すること。
• 実際のクラウド環境における高速ネットワーク（例：100 Gbps）で分散学習を実行する際の実際のネットワーク利用度を測定すること。
• ネットワーク転送効率がスケーリング要因および収束時間に与える影響を評価すること。
• ネットワークレベルの最適化と勾配圧縮などのアプリケーションレベル技術の有効性を比較すること。
• 分散学習における線形的なスケールアウトを達成するために、高性能なネットワーク転送を優先すべきであることを提唱すること。

提案手法

• ResNet50、ResNet101、VGG16を用い、データ並列性とすべての再結合通信を用いて、AWS上での分散学習スループットのエンドツーエンド測定を実施した。
• 通信フェーズ中の実際のネットワーク利用度を測定し、100 Gbpsリンクでもわずか約32 Gbpsの使用にとどまっていることを観察した。
• ログに記録された実際の計算および通信タイミングを保ちながら、完全なネットワーク利用度（100％）をシミュレートする「もしも」分析を実施した。
• 10 Gbpsおよび100 Gbpsの異なるネットワーク速度下で、2倍から100倍の圧縮比を想定し、勾配圧縮の影響を評価した。
• レイヤー単位のタイミングログを用いて、計算と通信の重ね合わせをモデル化し、スケーリング行動の正確なシミュレーションを可能にした。
• 勾配圧縮などのアプリケーションレベルの最適化と比較して、ネットワークレベルの最適化の有効性を強調し、透明性と正確性の保持を重視した。

実験結果

リサーチクエスチョン

• RQ1 分散学習における主なボトルネックはネットワーク帯域幅か、それともネットワーク転送の非効率性か？
• RQ2 現代の高帯域幅クラスタにおいて、低ネットワーク利用度がスケーリングにどの程度制限を及えるか？
• RQ3 10 Gbpsと100 Gbpsのネットワークで、ほぼ線形的なスケーリングを達成するには、どの程度の勾配圧縮比が必要か？
• RQ4 完全なネットワーク利用度は、分散学習におけるスケーリング要因および収束時間にどのように影響するか？
• RQ5 ネットワークレベルの最適化は、勾配圧縮などのアプリケーションレベルの最適化よりも効果的で安全であるか？

主な発見

• 分散学習中のネットワーク利用度は低く、100 Gbpsリンクでもわずか約32 Gbpsにとどまっている。
• 完全なネットワーク利用度を達成した場合、分散学習のスケーリング要因は99％以上に達し、ほぼ線形的なスケーリングが実現される。
• 100 Gbpsネットワークでは、すでに完全な利用度を達成できるため、勾配圧縮は近似的に線形スケーリングを達成するために不要である。
• 10 Gbpsネットワークでは、2倍から5倍の圧縮比があれば、ほぼ線形スケーリングが達成可能であるが、これはネットワークがボトルネックであるためである。
• アプリケーションレベルの勾配圧縮は高速ネットワークではほとんど利益がなく、モデルの正確性を損なうリスクがある。一方、ネットワークレベルの最適化は透明で、モデル品質を保持する。
• 本研究は、真のボトルネックがネットワーク帯域幅ではなく、非効率なネットワーク転送であることを確認した。CPUやGPUの計算能力ではない。