[論文レビュー] Model Pruning Enables Efficient Federated Learning on Edge Devices

Yuang Jiang, Shiqiang Wang+5 more|arXiv (Cornell University)|Sep 26, 2019

Privacy-Preserving Technologies in Data被引用数 55

ひとこと要約

PruneFL は適応的で分散型のモデル剪定を連合学習に統合し、エッジデバイスでの計算および通信を削減しつつ、元のモデルに近い精度を維持します。

ABSTRACT

Federated learning (FL) allows model training from local data collected by edge/mobile devices while preserving data privacy, which has wide applicability to image and vision applications. A challenge is that client devices in FL usually have much more limited computation and communication resources compared to servers in a datacenter. To overcome this challenge, we propose PruneFL -- a novel FL approach with adaptive and distributed parameter pruning, which adapts the model size during FL to reduce both communication and computation overhead and minimize the overall training time, while maintaining a similar accuracy as the original model. PruneFL includes initial pruning at a selected client and further pruning as part of the FL process. The model size is adapted during this process, which includes maximizing the approximate empirical risk reduction divided by the time of one FL round. Our experiments with various datasets on edge devices (e.g., Raspberry Pi) show that: (i) we significantly reduce the training time compared to conventional FL and various other pruning-based methods; (ii) the pruned model with automatically determined size converges to an accuracy that is very similar to the original model, and it is also a lottery ticket of the original model.

研究の動機と目的

• データプライバシーと通信コストが制約となるリソース制約のあるエッジデバイス上での連合学習を動機づける。
• 計算と通信のオーバーヘッドを同時に削減する剪定ベースのFL手法を開発する。
• FL中にモデルサイズを追跡・調整する適応的で分散した剪定を有効にし、トレーニング時間と精度を最適化する。
• 実際のエッジデバイス上で疎行列 PruneFL を実装し、複数のデータセットで評価することにより実用性を示す。

提案手法

• 2段階の分散剪定を用いた PruneFL を導入：選択したクライアントでの初期剪定と FL 中の追加剪定。
• 学習時間単位あたりの近似的な経験的リスク削減を最大化することで保持すべきパラメータを更新する適応的剪定を用いる。
• リスク削減とラウンド時間の比率（Gamma）を最大化するパラメータのサブセットを選択する形式で剪定を定式化する。
• パラメータ重要度を二乗勾配 g_j^2 によって算出し、各パラメータの学習時間 t_j を推定して剪定判断を導く。
• 剪定モデルに対して疎行列表現を実装し、ストレージ・メモリ・通信のオーバーヘッドを削減する。
• 標準的な FL の仮定の下で収束解析を提供し、クライアント数とともに線形スピードアップを示す。

実験結果

リサーチクエスチョン

• RQ1 適応的で分散された剪定は、精度を犠牲にすることなくFLにおける通信と計算コストの双方を削減できますか？
• RQ2 FL中にモデルサイズをどのように調整すればトレーニング速度と最終性能のバランスを最適化できますか？
• RQ3 異種データとデバイスを持つその後の連合訓練に対する初期剪定の影響は何ですか？
• RQ4 剪定はエッジデバイス上で元の性能に近い lottery-ticket のようなサブネットワークを生み出しますか？
• RQ5 実際のエッジハードウェアに PruneFL を展開する際の実用的な実装上の考慮事項は何ですか？

主な発見

• PruneFL は従来の FL および他の剪定ベースの手法と比較してトレーニング時間を大きく削減します。
• 自動的に決定されたサイズの剪定モデルは元のモデルと非常に類似した精度に収束し、元のモデルの lottery-ticket を形成します。
• 適応剪定を含む2段階の分散剪定は、データとデバイスのヘテロジニティを単一クライアント剪定よりも効果的に対処します。
• 適応剪定は勾配ベースの重要度指標と時間推定を用いて、保持・剪定・再追加のパラメータを選択します。
• エッジデバイス上での実装は、剪定モデルの畳み込み層と全結合層の疎行列計算の実現可能性を示します。