[論文レビュー] Stanza: Layer Separation for Distributed Training in Deep Learning

Xiaorui Wu, Hong Xu+2 more|arXiv (Cornell University)|Dec 27, 2018

Advanced Neural Network Applications参考文献 47被引用数 4

ひとこと要約

Stanzaは、計算負荷の高い畳み込み層（CONV）とパラメータ負荷の高い全結合層（FC）を分離することで、分散ディープラーニングにおけるレイヤー分離を提案する。多数のワーカーでCONV層を、少数のワーカーでFC層を訓練することで、ノード間通信量を最大10倍削減し、10Gbネットワーク上での学習を1.34倍～13.9倍高速化する。このアプローチにより、パラメータサーバーシステムにおけるデータ転送オーバーヘッドを顕著に低減し、収束性やモデル精度を損なわない。

ABSTRACT

The parameter server architecture is prevalently used for distributed deep learning. Each worker machine in a parameter server system trains the complete model, which leads to a hefty amount of network data transfer between workers and servers. We empirically observe that the data transfer has a non-negligible impact on training time. To tackle the problem, we design a new distributed training system called Stanza. Stanza exploits the fact that in many models such as convolution neural networks, most data exchange is attributed to the fully connected layers, while most computation is carried out in convolutional layers. Thus, we propose layer separation in distributed training: the majority of the nodes just train the convolutional layers, and the rest train the fully connected layers only. Gradients and parameters of the fully connected layers no longer need to be exchanged across the cluster, thereby substantially reducing the data transfer volume. We implement Stanza on PyTorch and evaluate its performance on Azure and EC2. Results show that Stanza accelerates training significantly over current parameter server systems: on EC2 instances with Tesla V100 GPU and 10Gb bandwidth for example, Stanza is 1.34x--13.9x faster for common deep learning models.

研究の動機と目的

• パラメータサーバーに基づく分散ディープラーニングにおける高い通信オーバーヘッド、特に各学習イテレーションにおける大規模なパラメータ交換に起因する問題を解決すること。
• 現代のGPUクラスタにおける学習遅延の主要因であるワーカーとパラメータサーバー間のデータ転送を最小限に抑えることで、学習時間を短縮すること。
• 畳み込み層と全結合層の計算および通信特性の差を活用し、より効率的な分散学習を実現すること。
• モデルの収束性とパフォーマンスを維持しながら、ネットワーク帯域幅の使用量を顕著に削減するシステムを設計すること。

提案手法

• ディープラーニングモデルを独立したCONV層およびFC層の学習パイプラインに分解し、クラスタの大多数のノードをCONV層の学習に、少数のノードをFC層の学習に割り当てる。
• ハイブリッド通信戦略を採用：CONV-FC間の活性化値および勾配の交換には多対一および一対多通信を用い、CONVおよびFCワーカー内での勾配同期には最適化されたallreduceを適用する。
• CONVワーカーとFCワーカーの勾配交換を重ねて実行することで、通信遅延を隠蔽し、パイプライン効率を向上させる。
• ノードの割り当てに基づく学習スループットを予測するパフォーマンスモデルを構築し、最適なCONVおよびFCワーカー数を求めるためのオフライン最適化問題を解く。
• PyTorchにStanzaを統合し、AzureやAWS EC2などのクラウドプラットフォームへのシームレスなデプロイを可能にし、最小限のコード変更で利用可能にする。
• 標準的なSGDとの後方互換性を確保し、バッチ同期並列（BSP）を用いてモデルの一貫性を維持するが、非同期および遅延同期学習への拡張性も保つ。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層と全結合層の学習を分離することで、モデル精度や収束性に悪影響を与えずに、分散ディープラーニングにおける通信オーバーヘッドを低減できるか？
• RQ2 CONV層とFC層間の通信パターンを最適化することで、遅延を最小限に抑えつつ、学習効率を維持できるか？
• RQ3 与えられたクラスタサイズに対して、学習スループットを最大化する最適なノード割り当て戦略（CONVワーカーとFCワーカーの数の割合）は何か？
• RQ4 10Gb、40Gb、100Gbといった異なるネットワーク帯域幅環境下でも、レイヤー分離は効果を発揮するか？
• RQ5 通信が主なボトルネックでない、高帯域幅のデータセンタ環境でも、提案されたシステムは顕著な高速化を達成できるか？

主な発見

• Tesla V100 GPU搭載のEC2と10Gbネットワーク環境下で、StanzaはAlexNetやVGG-16といった一般的なモデルにおいて、従来のパラメータサーバーシステムと比較して1.34倍～13.9倍の高速化を達成した。
• VGG-16のケースでは、標準的なパラメータサーバー学習と比較して、データ転送量を最大10倍まで削減した。
• 100Gbネットワーク帯域幅でも、数値シミュレーションの結果、AlexNetとVGG-16の両方でそれぞれ1.55倍および1.72倍の高速化が得られ、10Gbネットワークを超えた環境でも継続的な利点が示された。
• バッチ同期並列（BSP）を用いることで、収束が速く、モデル精度を維持する。これにより、性能劣化を伴わず一貫性が保証される。
• パフォーマンスモデルにより最適なノード割り当てが可能となり、その結果得られた構成は、複数のモデルおよび複数のクラスタサイズにおいて、常にベースラインのパラメータサーバーシステムを上回るパフォーマンスを発揮した。
• Stanzaは、勾配圧縮や量子化といった既存の通信最適化技術と直交しており、それらと組み合わせることでさらなる通信コスト削減が可能である。