[論文レビュー] A flexible framework for communication-efficient machine learning: from HPC to IoT

Sarit Khirirat, Sindri Magnússon+2 more|arXiv (Cornell University)|Mar 13, 2020

IoT and Edge/Fog Computing参考文献 17被引用数 4

ひとこと要約

本稿では、1通信ビットあたりの目的関数改善量を最大化するために、勾配圧縮レベルを動的に調整する通信意識的適応チューニング（CAT）フレームワークを提案する。プラットフォーム固有の通信コストをモデル化し、反復ごとに圧縮を最適化することで、CATはフル勾配降下と比較して通信コストを最大5桁減少させ、HPCおよびIoTシステムの両方で静的チューニング手法を上回る性能を発揮する。

ABSTRACT

With the increasing scale of machine learning tasks, it has become essential to reduce the communication between computing nodes. Early work on gradient compression focused on the bottleneck between CPUs and GPUs, but communication-efficiency is now needed in a variety of different system architectures, from high-performance clusters to energy-constrained IoT devices. In the current practice, compression levels are typically chosen before training and settings that work well for one task may be vastly suboptimal for another dataset on another architecture. In this paper, we propose a flexible framework which adapts the compression level to the true gradient at each iteration, maximizing the improvement in the objective function that is achieved per communicated bit. Our framework is easy to adapt from one technology to the next by modeling how the communication cost depends on the compression level for the specific technology. Theoretical results and practical experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.

研究の動機と目的

• 高性能コンピューティングクラスタからエネルギー制限のあるIoTデバイスまで、多様なアーキテクチャにまたがる分散機械学習における通信ボトル neck を解消すること。
• 異なるデータセットやシステム構成において最適でない静的圧縮チューニングの限界を克服すること。
• 勾配情報と通信コストモデルに基づき、リアルタイムで圧縮レベルを適応的に調整できる柔軟で技術意識的なフレームワークを構築すること。
• 反復ごとの通信コストに対する目的関数改善の比を最大化することで、通信効率を向上させること。

提案手法

• CATフレームワークは、異なるハードウェアプラットフォームに対して、解析的モデルまたは実測値を用いて圧縮レベルの関数として通信コストをモデル化する。
• 目的関数の保証された勾配低下量と通信コストの比を最大化するように、圧縮レベルTを最適選択する最適化問題を定式化する。
• スパarsification、スパリティ＋量子化、および確率的スパリティの各圧縮方式について、それぞれの問題固有の勾配低下補題を導出し、関数改善とチューニングパラメータTとの関係を明示する。
• 複数ノード環境への適用が行われ、確率的勾配降下における確率的スパリティ方式の収束解析が提供されている。
• スパリティ予算を毎反復ではなくS反復ごとに更新することで、スパリティのオーバーヘッドを低減するハイブリッドヒューリスティックが導入されている。
• ZMQベースのTCP送信を用いた実験により、通信コストモデルが実証的に検証され、アフィンな挙動を示しており、モデル化に適していることが確認された。

実験結果

リサーチクエスチョン

• RQ1 勾配圧縮を、データ依存の情報量とプラットフォーム固有の通信コストの両者に動的に適応させることは可能か？
• RQ2 異なるシステムアーキテクチャにおいて、通信ビット1つあたりの目的関数改善量を最大化する最適な圧縮レベルTは何か？
• RQ3 統一されたフレームワークは、HPCからIoTに至る多様なシステムにおいて、静的またはヒューリスティックチューニングよりも優れた通信効率を達成できるか？
• RQ4 パケットベースのモデルとペイロードオンリーのモデルを含む、さまざまな通信モデル下でのフレームワークの性能はいかがなっているか？

主な発見

• RCV1データセットにおいて、CATはフル勾配降下と比較して通信コストを最大5桁削減し、静的チューニング手法を著しく上回る性能を発揮した。
• パケット通信モデルにおいて、CATはAlistarhら（2017）の動的チューニングルール（実際の通信コストを無視する）と比較して、通信効率が約2倍向上した。
• S=200のハイブリッドヒューリスティックは、スパリティ時間をおよそ1桁短縮したが、収束性能および通信コストの性能はほぼ同一を維持した。
• 実験により、アフィンモデルが異なるスパarsity予算におけるエンドツーエンド送信時間を正確に捉えていることが確認され、通信コストモデル化手法の妥当性が裏付けられた。
• 確率的スパリティの場合、ペイロードモデルが小さいTを示唆しても、CATは依然として最適なTを適応的に選択でき、モデル仮定へのロバストネスを示した。
• スパリティ時間は反復あたり高めであったが、CAT S+Qは通信オーバーヘッドが著しく低減されたため、ウォルクロック収束が速くなった。