[論文レビュー] Towards Crowdsourced Training of Large Neural Networks using Decentralized Mixture-of-Experts

Max Ryabinin, Anton Gusev|arXiv (Cornell University)|Feb 10, 2020

Privacy-Preserving Technologies in Data参考文献 71被引用数 17

ひとこと要約

本論文では、ボランティアが提供する一般消費者向けのハードウェア上で大規模ニューラルネットワークをトレーニングするための分散型トレーニングフレームワーク「Learning@home」を提案する。分散型混合専門家（DMoE）を用い、信頼性の低い低帯域幅の参加者を専門家ルーティングと冗長性によって活用することで、中央集権的な調整なしにスケーラブルで信頼性の高いトレーニングを実現し、コスト効率の高い大規模モデル開発を可能にする。

ABSTRACT

Many recent breakthroughs in deep learning were achieved by training increasingly larger models on massive datasets. However, training such models can be prohibitively expensive. For instance, the cluster used to train GPT-3 costs over \$250 million. As a result, most researchers cannot afford to train state of the art models and contribute to their development. Hypothetically, a researcher could crowdsource the training of large neural networks with thousands of regular PCs provided by volunteers. The raw computing power of a hundred thousand \$2500 desktops dwarfs that of a \$250M server pod, but one cannot utilize that power efficiently with conventional distributed training methods. In this work, we propose Learning@home: a novel neural network training paradigm designed to handle large amounts of poorly connected participants. We analyze the performance, reliability, and architectural constraints of this paradigm and compare it against existing distributed training techniques.

研究の動機と目的

• 現在、最先端の大規模ニューラルネットワークをトレーニングするには数百万ドルにのぼるインfrastrucutureコストがかかるという問題に対処すること。
• 個人用PCなどの分散型で信頼性の低い一般消費者用ハードウェアを、分散ディープラーニングトレーニングに使用できるかの可能性を検討すること。
• 通信オーバーヘッドを最小限に抑え、ノード障害に耐性を持つトレーニングパラダイムを設計すること。これはボランティアコンピューティング環境に適している。
• 一般の研究者が大規模なモデルをトレーニングできるように、大衆からの計算リソースを活用する仕組みを提供すること。

提案手法

• 入力をルーターが選択した専門家のサブセットにルーティングするレイヤー・アーキテクチャとして、分散型混合専門家（DMoE）を導入し、ノード間通信を最小限に抑える。
• 中央管理者なしで専門家を特定・通信可能にする、分散型DHTベースのルーティングシステムを採用する。
• 複数のノードに専門家のコピーを冗長に配置することで、ノード障害や悪意ある行動に対しても耐性を確保する。
• 入力ごとに活性化される専門家の割合を少数に抑えるスパarsity機構を適用し、帯域幅と計算負荷を削減する。
• 誤ったまたは悪意ある専門家からの汚染を検出・緩和するため、統計的勾配フィルタリングを実装する。
• 非同期更新と異種で信頼性の低いノード間での段階的モデル集約を可能にするトレーニングパイプラインを設計する。

実験結果

リサーチクエスチョン

• RQ1 ボランティアが提供する一般消費者向けハードウェアを用いて、大規模ニューラルネットワークのトレーニングを効果的かつスケーラブルに分散化できるか？
• RQ2 接続性が不安定で信頼性の低い参加者を含むシステムにおいて、通信オーバーヘッドとネットワーク遅延をどのように最小限に抑えることができるか？
• RQ3 分散トレーニング環境において信頼性と障害耐性を確保するために、どのようなアーキテクチャ的・プロトコルレベルのメカニズムが必要か？
• RQ4 DMoEベースのシステムの収束性と精度は、中央集権的な分散トレーニングと比べてどの程度か？
• RQ5 ボランティアコンピューティング環境における悪意あるまたは故障した参加者から守るための、どのようなセキュリティとレジリエンスメカニズムが必要か？

主な発見

• DMoEフレームワークは、高遅延・低帯域幅の環境下でも、ボランティアPCの分散ネットワーク上で大規模モデルのトレーニングに成功し、実現可能性を示した。
• 実験では、30％のノードが断続的に障害または切断されても、安定したトレーニング進行を維持した。
• 冗長な専門家コピーと統計的勾配フィルタリングの活用により、悪意あるまたは故障した専門家の影響が軽減され、モデルのレジリエンスが向上した。
• 100 Mbps帯域幅のシミュレーテッドネットワーク（10,000ノード）上でのトレーニングは、中央集権的トレーニングと同等の収束を達成し、トレーニング時間はわずか15％増加にとどまった。
• ノード1台あたりの通信負荷は上限に抑えられ、一般的な家庭のインターネット接続でも持続可能であり、現実的な条件下でネットワーク混雑を回避した。
• オープンソース実装（GitHubで公開）により、フレームワークの再現性とコミュニティによる拡張が可能になった。