[論文レビュー] Communication Scheduling as a First-Class Citizen in Distributed Machine Learning Systems.

Sayed Hadi Hashemi, Sangeetha Abdu Jyothi+1 more|arXiv (Cornell University)|Mar 8, 2018

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本論文は、モデルや開発者入力の変更を要せず、グラフベースのモデルにおいて通信と計算のほぼ最適な重ね合わせを達成する通信スケジューリングシステムを提案する。TensorFlow上で構築されており、トレーニングスループットを最大20%向上させ、推論スループットを最大82%向上させるとともに、スラッガー効果を最大2.8倍まで低減する。

ABSTRACT

State-of-the-art machine learning systems rely on graph-based models, with the distributed training of these models being the norm in AI-powered production pipelines. The performance of these communication-heavy systems depends on the effective overlap of communication and computation. While the overlap challenge has been addressed in systems with simpler model representations, it remains an open problem in graph-based models. In this work, we develop a system for communication scheduling which realizes near-optimal overlap of communication and computation in graph-based models. Our system is implemented over TensorFlow and requires no changes in the model or developer inputs. Our system improves the throughput by up to 82% in inference and 20% in training, while also reducing straggler effect by up to 2.8x. A part of our implementation is already merged with TensorFlow codebase; the rest is publicly available.

研究の動機と目的

• グラフベースの機械学習モデルの分散トレーニングにおける、効果的な通信・計算の重ね合わせという未解決課題に取り組むこと。
• 複雑なモデル表現を用いるシステムにおいて、通信と計算のほぼ最適な重ね合わせを実現すること。
• モデルや開発者入力の変更なしに、TensorFlowなどの既存フレームワークにシームレスに統合できるソリューションを設計すること。
• 分散トレーニングにおけるスラッガー効果を低減し、システム効率とリソース利用効率を向上させること。

提案手法

• 本システムは、分散機械学習システムにおいて通信スケジューリングを第一級の抽象化として導入し、通信パターンを最適化の対象とする第一級のエンティティとして扱う。
• 計算グラフを静的に解析して通信および計算の依存関係を同定し、正確なスケジューリング意思決定を可能にする。
• データの可用性とリソース制約に基づいて操作を再順序化することで、スケジューラが動的に通信と計算を重ね合わせる。
• モデル定義やトレーニングコードの変更なしに、既存のTensorFlowインfraストラクチャを活用する。
• アイドル計算時間を最小限に抑えるために通信タスクを優先する新しいスケジューリングアルゴリズムを採用する。
• グラフレベルにスケジューリング論理を挿入するためにTensorFlowの実行エンジンと統合し、透明なデプロイを実現する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの機械学習モデルにおいて、通信と計算をどのように効果的に重ね合わせるか。これによりシステムスループットがどのように向上するか。
• RQ2 モデルコードや開発者ワークフローの変更なしに、通信と計算のほぼ最適な重ね合わせを実現するスケジューリング戦略は何か。
• RQ3 通信スケジューリングは、分散トレーニングにおけるスラッガー効果をどの程度低減できるか。
• RQ4 本手法は、異なるモデルアーキテクチャやクラスタ構成において、どのようにスケーリングするか。
• RQ5 本アプローチを用いることで、トレーニングおよび推論ワークロードでどの程度のパフォーマンス向上が達成できるか。

主な発見

• 本システムは、ベースラインシステムと比較して推論スループットを最大82%向上させる。
• 通信と計算の重ね合わせの改善により、トレーニングスループットが最大20%向上する。
• スラッガー効果が最大2.8倍低減され、負荷分散とリソース利用効率の向上が示された。
• 実装の一部が公式TensorFlowコードベースにマージされ、本番環境での実用性が確認された。
• モデル定義や開発者入力の変更なしに、シームレスな統合が可能である。
• 本手法は多様なグラフベースのモデルアーキテクチャおよび分散トレーニングシナリオにおいて有効である。