[論文レビュー] Enabling Fast and Flexible Distributed Deep Learning with Programmable Switches

Heng Pan, Penglai Cui+12 more|arXiv (Cornell University)|May 11, 2022

Brain Tumor Detection and Classification被引用数 7

ひとこと要約

本稿では、頻繁に更新される（ホットと呼ばれる）パラメータの勾配集約をIntel Tofinoスイッチにオフロードすることで、分散スパースディープラーニングの高速化を実現するプログラマブルスイッチベースのシステムLibraを提案する。サンプリングベースのホットパラメータ同定、ヒートに配慮したパラメータ配置、および即時の浮動小数点加算を実行するテーブルルックアップ機構を活用することで、従来のパラメータサーバー訓練に比べ1.5倍から4倍の高速化を達成する。

ABSTRACT

Deep learning has been used in a wide range of areas and made a huge breakthrough. With the ever-increasing model size and train-ing data volume, distributed deep learning emerges which utilizes a cluster to train a model in parallel. Unfortunately, the performance is often far from linear speedup due to the communication overhead between cluster nodes. To address this challenge, this paper designs and implements Libra, a network aggregator, that utilizes in-network computation to optimize the communication for distributed DL training in two aspects: 1) reduce active connections and 2) aggregate exchanged network packets. We implemented our Libra on Intel Tofino switches, customized a lightweight host stack and integrated it into an open-source training framework PS-lite. The experimental result shows that our Libra can achieve 1.5~4 times speedup.

研究の動機と目的

• 分散スパースディープラーニング学習における通信ボトルネックを解消すること。特に、集中的かつバースト型の通信がスケーラビリティを制限する要因となる。
• 産業界のスパースディープラーニングモデルにおけるパラメータの更新頻度の著しい非対称性（少数のパラメータが頻繁に更新される）を活用すること。
• これらの「ホット」パラメータの勾配集約をプログラマブルスイッチにオフロードするシステムを設計し、パラメータサーバーの負荷を軽減し、学習スループットを向上させること。
• レジスタの書き込み競合やネイティブな浮動小数点サポートの欠如といった、プログラマブルスイッチのハードウェア的・プロトコル的制限を、革新的なシステムレベル最適化によって克服すること。
• 生産規模の展開において、パケットロス回復およびスイッチフェイルオーバー機構を備えることで、信頼性を確保すること。

提案手法

• フルデータセットの4–8%で学習することで、完全なプロファイリングを伴わずに効率的なホットパラメータ発見が可能な、サンプリングベースの機構を提案。
• 勾配集約中のレジスタ競合を最小限に抑えるために、スイッチ上でのヒートに基づくパラメータ配置戦略を設計。パイプライン効率を向上。
• 1つのパイプライン段階内で同じレジスタへの複数回の書き込みの確率を低減するため、ワーカー側でパラメータレイアウトに配慮した勾配パッケージング技術を考案。
• ネイティブな浮動小数点サポートが限られるスイッチでも、即時の32ビット浮動小数点加算を実現するテーブルルックアップ機構を導入。ネットワーク内での勾配集約を可能に。
• 二重経路通信モデルを実装：ホットパラメータはスイッチで集約され、コールドパラメータは依然としてパラメータサーバーで処理される。正しさとスケーラビリティを両立。
• パケットロス回復およびスイッチフェイルオーバー機構を強化することで、スイッチ障害発生時でも学習の継続性を維持する。

実験結果

リサーチクエスチョン

• RQ1 スパースディープラーニングモデルにおけるネットワーク内勾配集約は、従来のパラメータサーバーアーキテクチャに比べて顕著な高速化を達成できるか？
• RQ2 フルトレーニングのオーバーヘッドを伴わず、スパースディープラーニングワークロードにおけるホットパラメータを効率的に同定できるか？
• RQ3 ハードウェア制限を受けるプログラマブルスイッチ上で、効率的かつ正確な勾配集約を実現するためのシステムレベル最適化は何か？
• RQ4 ホットパラメータのスイッチベース集約とコールドパラメータのサーバー側集約の組み合わせは、正しさを保ちつつ性能を向上させられるか？
• RQ5 パケットロスやスイッチ障害といった実世界のネットワーク環境下でも、Libraは信頼性を確保できるか？

主な発見

• Libraは、ベースラインのパラメータサーバー実装に比べ、分散スパースディープラーニング学習で1.5倍から4倍の高速化を達成した。
• サンプリングベースのホットパラメータ同定機構は、全更新の約50％を占める上位30,000個の頻繁に更新されるパラメータを正確に同定した。
• ヒートに基づくパラメータ配置およびレイアウトに配慮したパッケージングにより、レジスタ書き込み競合が70％以上削減され、スイッチパイプライン効率が向上した。
• テーブルルックアップ機構により、最小限のパフォーマンスオーバーヘッドでスイッチ上で即時の32ビット浮動小数点加算が可能となり、正確な勾配集約を支援した。
• パケットロス回復およびスイッチフェイルオーバー機構により、高い信頼性を維持し、学習の途切れを防いだ。
• LibraはPS-liteと統合され、Intel Tofinoスイッチにデプロイされた。エンドツーエンドの互換性と実世界での展開可能性を実証した。