[論文レビュー] AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep Learning

Ayush Chopra, Surya Kant Sahu+5 more|arXiv (Cornell University)|Dec 2, 2021

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

AdaSplitは、リアルタイムのサーバー勾配に依存しないことで、帯域幅と計算負荷を削減するリソース制約下での分散ディープラーニングのための適応的フレームワークを導入する。共有サーバーモデルに対するスパースで間欠的な更新を可能にすることで、限られた帯域幅と計算リソース下でも高い精度を達成する。提案されたC3-Score指標を用いた広範なベンチマークにより、フェデレーテッドラーニングおよびスプリットラーニングのベースラインと比較して、動的バランスによるトレードオフの最適化が検証された。

ABSTRACT

Distributed deep learning frameworks like federated learning (FL) and its variants are enabling personalized experiences across a wide range of web clients and mobile/IoT devices. However, FL-based frameworks are constrained by computational resources at clients due to the exploding growth of model parameters (eg. billion parameter model). Split learning (SL), a recent framework, reduces client compute load by splitting the model training between client and server. This flexibility is extremely useful for low-compute setups but is often achieved at cost of increase in bandwidth consumption and may result in sub-optimal convergence, especially when client data is heterogeneous. In this work, we introduce AdaSplit which enables efficiently scaling SL to low resource scenarios by reducing bandwidth consumption and improving performance across heterogeneous clients. To capture and benchmark this multi-dimensional nature of distributed deep learning, we also introduce C3-Score, a metric to evaluate performance under resource budgets. We validate the effectiveness of AdaSplit under limited resources through extensive experimental comparison with strong federated and split learning baselines. We also present a sensitivity analysis of key design choices in AdaSplit which validates the ability of AdaSplit to provide adaptive trade-offs across variable resource budgets.

研究の動機と目的

• 計算能力と帯域幅が限られたエッジデバイスに大規模なディープラーニングモデルを展開するという増大する課題に対処する。
• データの非独立同分布（non-IID）設定下で特に顕著な、スプリットラーニングの通信頻度の高さと収束性の悪さといった制限を克服する。
• 分散学習において、クライントの計算および通信オーバーヘッドを低減しながら、モデルの精度を維持または向上させる。
• 帯域幅、計算リソース、収束速度の複数次元的制約下でのパフォーマンスをベンチマークするための統一的評価指標、C3-Scoreを導入する。
• 動的かつ柔軟に通信頻度とモデル更新のスパarsity（スパarsity）を調整することで、変動するリソース予算に適応可能なトレードオフを実現する。

提案手法

• サーバーモデルを非同期的かつ間欠的に学習させることで、クライントがサーバー勾配に継続的に依存する必要を排除し、通信頻度を低減する。
• サーバー側でスパースなパラメータ更新を導入し、各クライントがサーバーモデルパラメータの部分集合のみを更新することで、帯域幅と計算負荷を削減する。
• クライントとサーバーの学習フェーズを分離することで、非同期実行を可能にし、システム効率を向上させるとともに、遅延クライアント（straggler）の影響を軽減する。
• モデルの過剰パラメータ化を活用し、クライントがサーバーモデルの関連性の高いスパース部分に集中して学習できるようにすることで、収束性とパフォーマンスを向上させる。
• クライントの活性化と選択されたサーバー勾配のみをやり取りする通信効率の良いパイプラインを設計することで、ペイロードサイズを最小限に抑える。
• 帯域幅、計算リソース、収束速度の組合せ制約下でのモデルパフォーマンスを定量的に評価するためのC3-Score指標を提案する。

実験結果

リサーチクエスチョン

• RQ1 スプリットラーニングを、帯域幅と計算負荷の観点からより効率化し、モデル精度を維持または向上させることは可能か？
• RQ2 リソース制約下の分散学習において、通信、計算、収束性の間で動的かつ適応的なトレードオフを達成できるか？
• RQ3 変動するリソース予算下で、AdaSplitのパフォーマンスはフェデレーテッドラーニングおよびスプリットラーニングと比較してどの程度異なるか？
• RQ4 サーバーモデルにおけるパラメータのスパース化は、非独立同分布（non-IID）データ環境下での収束性と精度にどのような影響を与えるか？
• RQ5 非同期学習と通信頻度の低減は、リソースが限られたエッジ環境におけるスケーラビリティをどの程度向上させられるか？

主な発見

• AdaSplitは、非独立同分布（non-IID）データ下でも、同等の帯域幅と計算リソース制約下で、強力なフェデレーテッドラーニングおよびスプリットラーニングのベースラインを上回るテスト精度を達成する。
• 提案されたC3-Score指標は、リソース予算下での分散ディープラーニングにおける多次元的パフォーマンストレードオフを的確に捉え、ベンチマーク可能であることを示した。
• 非同期学習とスパースなサーバー更新を可能にすることで、AdaSplitは標準的なスプリットラーニングと比較して通信頻度を最大70％まで低減し、帯域幅使用量を顕著に削減した。
• 感度分析により、AdaSplitは多様なリソース予算下でも安定したパフォーマンスを維持しており、さまざまなクライント制約に適応可能であることが確認された。
• クライントがサーバーモデルのスパースで関連性の高い部分集合にのみ更新を制限することで、非均質なデータ環境下で収束速度とモデル精度が向上した。
• 実験的結果から、AdaSplitは、特に低帯域幅・低計算リソース環境下で、従来のスプリットラーニングおよびフェデレーテッドラーニングのアプローチを精度と効率の両面で上回っていることが示された。