[論文レビュー] ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity

Xinchi Qiu, Javier Fernández-Marqués+4 more|arXiv (Cornell University)|Aug 4, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

ZeroFL は、局所的なスパースネスを活用することで、最大95%の重みおよび活性化のスパarsityを実現する新しいフェデレーテッドラーニングフレームワークであり、適応的スパース化技術とCSRベースの圧縮を用いる。90%のスパarsityにおいて、最先端のベースラインと比較して最大2.3%高い精度を達成し、アップリンク通信量を3.0倍削減する。非IIDおよびリソース制限のある環境でも高いモデル性能を維持する。

ABSTRACT

When the available hardware cannot meet the memory and compute requirements to efficiently train high performing machine learning models, a compromise in either the training quality or the model complexity is needed. In Federated Learning (FL), nodes are orders of magnitude more constrained than traditional server-grade hardware and are often battery powered, severely limiting the sophistication of models that can be trained under this paradigm. While most research has focused on designing better aggregation strategies to improve convergence rates and in alleviating the communication costs of FL, fewer efforts have been devoted to accelerating on-device training. Such stage, which repeats hundreds of times (i.e. every round) and can involve thousands of devices, accounts for the majority of the time required to train federated models and, the totality of the energy consumption at the client side. In this work, we present the first study on the unique aspects that arise when introducing sparsity at training time in FL workloads. We then propose ZeroFL, a framework that relies on highly sparse operations to accelerate on-device training. Models trained with ZeroFL and 95% sparsity achieve up to 2.3% higher accuracy compared to competitive baselines obtained from adapting a state-of-the-art sparse training framework to the FL setting.

研究の動機と目的

• 制限されたデバイスがモデルの複雑さと学習速度を制限するフェデレーテッドラーニングにおけるオンデバイス学習の主要なボトル neck を解決すること。
• データの不均衡やステートレスなクライアントを含む、フェデレーテッドラーニングにおける高スパarsityを学習中に導入する際の特有の課題を調査すること。
• サーバー側のモデル制限なしに、性能の低下を伴わずにオンデバイス学習を高速化するフレームワークを開発すること。
• スパースモデルの送信により通信コストを削減しながら、モデルの精度を維持または向上させること。
• スパースネスが通信効率の向上だけでなく、フェデレーテッドラーニングにおける学習速度の向上にも有効に活用できることを実証すること。

提案手法

• ZeroFL は、3つのスパース化手法（Top-K-Weights、Top-K-Gradients、Top-K-Activations）を用いて、オンデバイス学習中に局所的なスパースネスを導入する。
• スパースネスレベルを制御するマスクレート戦略を採用し、学習中に非ゼロ重みの割合を動的に調整する。
• モデル重みをサーバーに送信する前に、Compressed Sparse Row (CSR) 形式を用いて圧縮することで、通信オーバーヘッドを低減する。
• 前向き伝搬および逆伝搬の両方でスパースネスを適用し、スパース畳み込み演算により高速な学習を実現する。
• 学習ラウンド全体でゼロの位置を固定することで、グローバルモデルの一貫性を保ち、収束の安定性を向上させる。
• フェデレーテッドラーニングパイプラインに最先端のスパース化技術を統合するとともに、非IIDデータおよびデバイスの異質性に対応するように調整する。

実験結果

リサーチクエスチョン

• RQ1 オンデバイス学習中に高スパarsity（最大95%）を導入すると、フェデレーテッドラーニングにおけるモデルの精度と収束にどのような影響を与えるか？
• RQ2 特にデータの不均衡とモデルの一貫性に関して、フェデレーテッドラーニングにおける学習時スパースネス適用に起因する特有の課題は何か？
• RQ3 スパースネスは通信の削減に加え、フェデレーテッドラーニングにおけるオンデバイス学習の高速化にも活用可能か？
• RQ4 異なるスパース化戦略（例：Top-K-Weights 対 Top-K-Gradients）が、高スパarsity下での最終的なモデル性能に与える影響は何か？
• RQ5 通信コストとモデル精度のバランスを最適化するための最適なマスクレートは何か？

主な発見

• 非IIDのSpeechCommandsデータセットにおいて、90%のスパarsityで、競合するベースラインと比較して+2.3%高いテスト精度を達成し、顕著な性能向上を示した。
• 95%のスパarsityで、同じデータセットにおいてベースライン比で+1.5%の精度向上を達成し、極度のスパarsityに対しても高いロバストネスを示した。
• CIFAR-10において、95%のスパarsity、マスクレート0.2の条件下で、アップリンク通信量を3.0倍削減しながら、ベースラインを上回る高い精度を維持した。
• すべてのデータセットおよびスパarsityレベルにおいて、マスクレート0.2のTop-K-Weightsスパース化手法が最良のパフォーマンスを示した。
• マスクレートに応じた通信削減効果は比例的に現れ、0.0で7.5倍、0.1で3.0倍、0.2で1.9倍の削減が確認された（95%スパarsity時）。
• 本研究では、グローバルモデルにおけるゼロの位置がほとんどの学習ラウンドで安定しており、一貫したスパースネスパターンを維持でき、効率的な学習が可能であることが明らかになった。