[論文レビュー] Communication Efficient Sparsification for Large Scale Machine Learning

Sarit Khirirat, Sindri Magnússon+2 more|arXiv (Cornell University)|Mar 13, 2020

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本論文は、分散機械学習における通信効率を最大化するために、送信ビット数あたりの通信効率を自動的に調整する動的チューニングルールを導入する。各反復において勾配圧縮と目的関数の改善のトレードオフを最適化することで、手動でのハイパーパrameterチューニングを必要とせず、最先端の圧縮方式において顕著な効率向上を実現する。

ABSTRACT

The increasing scale of distributed learning problems necessitates the development of compression techniques for reducing the information exchange between compute nodes. The level of accuracy in existing compression techniques is typically chosen before training, meaning that they are unlikely to adapt well to the problems that they are solving without extensive hyper-parameter tuning. In this paper, we propose dynamic tuning rules that adapt to the communicated gradients at each iteration. In particular, our rules optimize the communication efficiency at each iteration by maximizing the improvement in the objective function that is achieved per communicated bit. Our theoretical results and experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.

研究の動機と目的

• 大規模分散学習システムにおける固定圧縮戦略の非効率性に対処する。
• 既存の圧縮技術における膨大なハイパーパrameterチューニングの必要性を克服する。
• リアルタイムの勾配特性に基づいて圧縮を動的に調整する適応的メカニズムを開発する。
• 送信ビット数あたりの目的関数の改善を最適化することで通信効率を最大化する。
• 学習ダイナミクスの変化に応じて自動的かつ反復レベルで圧縮パラメータをチューニング可能にする。

提案手法

• 各学習反復における現在の勾配の構造と大きさに基づいて圧縮パラメータを動的に調整するチューニングルールを提唱する。
• 送信ビット数あたりの損失関数の改善を最大化する最適化目的関数を定式化する。
• トップ-kやランダムサンプリングなどの既存のスパース化技術と統合する。
• 勾配統計（例：大きさの分布）を用いて、スパarsityレベルや選択基準に関するリアルタイム意思決定を支援する。
• トレーニング中に繰り返しチューニングルールを適用し、ノード間で送信するビット数を動的に制御する。
• 標準的な圧縮方式との後方互換性を確保するとともに、それらの通信効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動でのハイパーパrameterチューニングを要せず、動的圧縮チューニングが分散機械学習における通信効率を向上させられるか？
• RQ2 提案手法は、固定圧縮戦略と比較して通信コストと収束速度の点でどのように異なるか？
• RQ3 動的チューニングは、異なる学習反復における変化する勾配特性にどの程度適応できるか？
• RQ4 ビットあたりの改善最適化の適応的アプローチは、多様なディープラーニングモデルとデータセットにおいて一貫した利点をもたらすか？

主な発見

• 動的チューニングルールは、複数の最先端圧縮方式において通信効率を顕著に向上させる。
• 与えられたモデル精度に到達するためのビット数を削減し、固定圧縮戦略を上回る性能を発揮する。
• より効果的な勾配伝送により、通信ラウンド数の観点から収束が速くなる。
• 静的圧縮設定と比較して、送信ビット数あたりの目的関数改善が顕著に高い。
• 再チューニングなしに、さまざまなモデルとデータセットで一貫した利点を示し、ロバストである。
• 理論的分析により、動的戦略が圧縮と最適化進捗のトレードオフを最適化することが確認された。