[論文レビュー] Distributed Deep Learning in Open Collaborations

M.G. Diskin, Alexey Bukhtiyarov+14 more|arXiv (Cornell University)|Jun 18, 2021

Scientific Computing and Data Management参考文献 116被引用数 4

ひとこと要約

本論文では、異種で信頼性の低いハードウェアを用いた、オープンでボランティアベースの協働環境における分散ディープラーニングのための新規なアルゴリズムフレームワーク、DeDLOCを提案する。計算リソースとネットワーク状態の変動に応じて動的に適応することで、DeDLOCは従来の設定と同等の効率的な学習を可能にした。実際のデプロイメントでは、14名のボランティアがGPUとTPUをハイブリッドで使用して、22日間で大規模言語モデル（sahajBERT-XL）の事前学習に成功した。コストは従来の方法のほんの一部に抑えられた。

ABSTRACT

Modern deep learning applications require increasingly more compute to train state-of-the-art models. To address this demand, large corporations and institutions use dedicated High-Performance Computing clusters, whose construction and maintenance are both environmentally costly and well beyond the budget of most organizations. As a result, some research directions become the exclusive domain of a few large industrial and even fewer academic actors. To alleviate this disparity, smaller groups may pool their computational resources and run collaborative experiments that benefit all participants. This paradigm, known as grid- or volunteer computing, has seen successful applications in numerous scientific areas. However, using this approach for machine learning is difficult due to high latency, asymmetric bandwidth, and several challenges unique to volunteer computing. In this work, we carefully analyze these constraints and propose a novel algorithmic framework designed specifically for collaborative training. We demonstrate the effectiveness of our approach for SwAV and ALBERT pretraining in realistic conditions and achieve performance comparable to traditional setups at a fraction of the cost. Finally, we provide a detailed report of successful collaborative language model pretraining with 40 participants.

研究の動機と目的

• 最先端のディープラーニングモデルを学習するための計算コストの増大に対処すること。このコストは、主に大規模な機関や企業に限定されたアクセスを生じさせている。
• 一般的に標準的な分散学習手法に不適切とされる、変動する帯域幅、高レイテンシ、不安定な接続といった、ボランティアコンピューティング環境における学習の課題を克服すること。
• 専用インfraストラクチャを必要とせず、未利用状態の異種デバイス（例：一般向けGPU、TPU、ワークステーション）を用いて、大規模モデルの協働的・分散型学習を可能にすること。
• 既存の空き計算リソースを最大限に活用することで、大規模モデル学習にかかる環境的・経済的コストを削減すること。
• 実世界でのデプロイメントを通じて、コミュニティ主導のオープンな大規模言語モデルの事前学習の実現可能性と効率性を示すこと。

提案手法

• DeDLOCは、リアルタイムでのハードウェアおよびネットワーク状態に応じて、パラメータサーバー方式、All-Reduce方式、分散型SGDの要素を統合した動的学習戦略を採用する。
• フレームワークは、デバイスの能力とネットワークレイテンシに応じて最適な同期パターン（例：All-Reduce、パラメータサーバー、中間パターン）を選択するハイブリッド通信戦略を採用する。
• GPUではfloat16、TPUではbfloat16をサポートする混合精度学習を可能にするために、計算形式を揃えることで発散を防ぐ。
• 参加者の動的な参加・退出に対応し、切断時にも自動回復する分散型でフェイルセーフな学習パイプラインを採用する。
• モデルのチェックポイント作成と勾配集約技術を活用することで、不安定な環境下でも学習の安定性とスループットを維持する。
• 軽量でモジュラーなアーキテクチャを設計しており、Hugging Face Transformersなどの既存のディープラーニングフレームワークとの統合を容易にしている。

実験結果

リサーチクエスチョン

• RQ1 異種で信頼性の低いハードウェアを用いた、オープンでボランティアベースの協働環境において、分散ディープラーニングを効果的にスケーリングできるか？
• RQ2 帯域幅の変動、高レイテンシ、参加者の頻繁な入れ替えが生じる環境でも、学習効率をどのように維持できるか？
• RQ3 GPUとTPUを含む混合アーキテクチャと混合精度ハードウェアに動的に適応するアルゴリズム戦略は、収束性とパフォーマンスを保証するためにどのようなものか？
• RQ4 協働学習によって、大規模言語モデルの事前学習にかかるコストと環境的影響をどの程度削減できるか？
• RQ5 中央集権的なインfraストラクチャなしで、独立した貢献者のコミュニティが大規模言語モデル（例：sahajBERT-XL）を効果的に学習できるか？

主な発見

• DeDLOCフレームワークは、14名のボランティアを用いて22日間でsahajBERT-XLの学習を成功させ、下流タスクにおいてベースラインモデルおよび元のsahajBERTを上回るパフォーマンスを達成した。
• 協働学習環境は、高価なGPUクラスタと同等の結果を得たが、コストは著しく低く抑えられ、ハードウェアの利用効率も向上した。
• GPUではfloat16、TPUではbfloat16という混合精度サポートの違いにもかかわらず、TPUではfloat32に計算を揃えることで学習の発散を防ぎ、GPUではfloat16を維持した。
• TPUv3-8インスタンスは、任意の単一のGPUノードを上回る性能を示し、本フレームワークにおける異種アクセラレータの活用効果を実証した。
• 参加者の動的な可用性や変動するネットワーク条件下でも、安定した学習スループットと収束性を維持した。
• 既存の未使用ハードウェアを活用することで、大規模冷却設備やエネルギー集約型データセンターの必要性を最小限に抑え、環境への影響を低減した。