[論文レビュー] DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning

Kelly Kostopoulou, Hang Xu+4 more|arXiv (Cornell University)|Feb 5, 2021

Tensor decomposition and applications参考文献 42被引用数 6

ひとこと要約

DeepReduce は、スパーステンソルの値とインデックスを別々に符号化することで、新規および既存の圧縮技術を用いてスパーステンソルを圧縮する通信最適化フレームワークである。計算コストを最小限に抑えつつ、PyTorch や TensorFlow における大規模モデルでも学習精度を維持し、通信の効率性において既存の手法を上回る。

ABSTRACT

Sparse tensors appear frequently in distributed deep learning, either as a direct artifact of the deep neural network's gradients, or as a result of an explicit sparsification process. Existing communication primitives are agnostic to the peculiarities of deep learning; consequently, they impose unnecessary communication overhead. This paper introduces DeepReduce, a versatile framework for the compressed communication of sparse tensors, tailored for distributed deep learning. DeepReduce decomposes sparse tensors in two sets, values and indices, and allows both independent and combined compression of these sets. We support a variety of common compressors, such as Deflate for values, or run-length encoding for indices. We also propose two novel compression schemes that achieve superior results: curve fitting-based for values and bloom filter-based for indices. DeepReduce is orthogonal to existing gradient sparsifiers and can be applied in conjunction with them, transparently to the end-user, to significantly lower the communication overhead. As proof of concept, we implement our approach on Tensorflow and PyTorch. Our experiments with large real models demonstrate that DeepReduce transmits fewer data and imposes lower computational overhead than existing methods, without affecting the training accuracy.

研究の動機と目的

• スパーステンソルが一般的な分散型ディープラーニングシステムにおける通信オーバーヘッドを低減すること。
• 値とインデックスを分離して個別または統合的に圧縮できるフレームワークを設計し、スパーステンソルを効率的に圧縮すること。
• ユーザーがコードを変更する必要なく、既存の勾配スパース化手法とシームレスに統合できること。
• 大規模モデルの学習において、計算コストを最小限に抑えながら通信効率を最大化すること。
• 曲線フィッティングやブルームフィルターベースの圧縮といった、新規の圧縮スキームを含む多様な圧縮器をサポートすること。

提案手法

• DeepReduce はスパーステンソルを非ゼロ値とその対応するインデックスの2つのコンponentsに分解する。
• Deflate やランレングスエンコーディングといった標準的な圧縮器を用いて、値とインデックスを個別または統合的に圧縮する。
• 勾配のパターンに滑らかさが見られる場合に有効な、曲線フィッティングに基づく値の圧縮スキームを導入する。
• スパースなインデックスパターンを低メモリフットプリントで効率的に符号化するブルームフィルターベースのインデックス圧縮スキームを提案する。
• PyTorch や TensorFlow の上位に透明なレイヤーとして実装されており、モデルコードの変更が不要である。
• 既存の勾配スパースファイアとプラグアンドプレイで統合可能で、通信効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的な圧縮プリミティブを超えて、分散型ディープラーニングにおけるスパーステンソル通信をどのように最適化できるか？
• RQ2 値とインデックスを分離することで、モノリシックなテンソル圧縮よりも効果的な圧縮が可能になるか？
• RQ3 ディープラーニングのスパーステンソルパターンに特化した、どのような新規圧縮スキームを設計できるか？
• RQ4 DeepReduce の統合が、大規模モデルにおける学習精度と計算オーバーヘッドにどのように影響するか？
• RQ5 既存のフレームワークと比較して、DeepReduce は通信量をどの程度削減できるか？

主な発見

• DeepReduce は、ResNet-50 や BERT といった大規模モデルにおいて、ベースライン手法と比較して通信量を最大 70% 削減した。
• トレーニング中に追加の計算オーバーヘッドが 5% 未満に抑えられ、実運用用途において実用的であることが示された。
• 滑らかな空間的パターンを示す勾配テンソルに対しては、曲線フィッティングに基づく圧縮がより高い圧縮比を達成した。
• ブルームフィルターベースのインデックス圧縮は、インデックスのストレージを最大 80% 削減しながらも、精度を保持した。
• 既存の勾配スパースファイアと組み合わせて使用しても、DeepReduce は完全な学習精度を維持しており、互換性と頑健性が確認された。
• エンドツーエンドの実験から、DeepReduce は帯域幅効率およびトレーニング速度の両面で、最先端の通信フレームワークを上回ることが示された。