[論文レビュー] Adaptive Dynamic Pruning for Non-IID Federated Learning.

Sixing Yu, Phuong Nguyen+2 more|arXiv (Cornell University)|Jun 13, 2021

Privacy-Preserving Technologies in Data参考文献 23被引用数 12

ひとこと要約

本論文は、エッジデバイスにおける非IIDフェデレーテッドラーニング向けに、データセットに適応した動的プルーニング手法を提案する。この手法により、推論速度が2倍に向上（FLOPsが50%削減）されると同時に、モデルの精度を維持する。本手法は、各デバイスのローカルデータ分布に応じてプルーニングポリシーをカスタマイズすることで、リソース制約下でも効率的かつプライバシーを守ったDNN推論を実現する。

ABSTRACT

Federated Learning~(FL) has emerged as a new paradigm of training machine learning models without sacrificing data security and privacy. Learning models at edge devices such as cell phones is one of the most common use case of FL. However, the limited computing power and energy constraints of edge devices hinder the adoption of FL for both model training and deployment, especially for the resource-hungry Deep Neural Networks~(DNNs). To this end, many model compression methods have been proposed and network pruning is among the most well-known. However, a pruning policy for a given model is highly dataset-dependent, which is not suitable for non-Independent and Identically Distributed~(Non-IID) FL edge devices. In this paper, we present an adaptive pruning scheme for edge devices in an FL system, which applies dataset-aware dynamic pruning for inference acceleration on Non-IID datasets. Our evaluation shows that the proposed method accelerates inference by $2 imes$~($50\%$ FLOPs reduction) while maintaining the model's quality on edge devices.

研究の動機と目的

• 限られた計算能力とエネルギーを備えたエッジデバイスに、リソース集約型の深層ニューラルネットワーク（DNN）を導入する課題に対処すること。
• フェデレーテッドラーニングにおける非IIDデータ分布下で失敗する、静的かつデータセットに依存しないプルーニングポリシーの限界を克服すること。
• ローカルデータの特性に応じてプルーニング戦略を適応させることで、エッジデバイスにおける効率的かつ正確な推論を可能にすること。
• 非IIDフェデレーテッドラーニング環境下で、モデルのパフォーマンスを維持しつつ、計算コストを大幅に削減すること。

提案手法

• ローカルデータ分布に応じて各エッジデバイスのプルーニングポリシーを調整する動的プルーニング方式を導入する。
• ローカルデータ統計を分析することで、各レイヤーの最適なスパarsityレベルを決定する、データセットに適応したプルーニングを採用する。
• トレーニング段階ではなく推論段階で適応的プルーニングを適用することで、モデル収束への影響を最小限に抑える。
• ローカルパフォーマンスとデータスケューに基づいて、プルーニング意思決定をフィードバック機構で改善する。
• 再トレーニングを必要とせず、FLOPsを削減するモデル圧縮技術を活用し、推論効率に焦点を当てる。
• ローカルデータの重要性に基づいて、プルーニング中に重要なネットワークパラメータを維持することで、モデル精度を保証する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおけるエッジデバイス間の非IIDデータ分布に、どのようにしてプルーニングポリシーを適応させるか？
• RQ2 動的かつデータセットに適応したプルーニングは、モデル精度を劣化させることなく、どの程度推論を高速化できるか？
• RQ3 適応的プルーニングにより、非IID FL環境下でFLOPsを50%削減しつつ、性能を維持できるか？
• RQ4 データスケュー下で、静的プルーニングと比較して、提案手法は推論速度と精度の面でどの程度優れているか？

主な発見

• 提案手法により、エッジデバイスにおける推論速度が2倍に向上し、FLOPsが50%削減された。
• テストしたすべての非IIDデータ分布において、モデル精度が維持された。これは、データスケューに対して高いロバスト性を示している。
• ローカルデータ特性を考慮しない静的プルーニング戦略よりも、本手法が優れた性能を発揮した。
• ローカルデータに応じた動的適応により、高い非IID度下でも一貫したパフォーマンス向上が達成された。
• 各デバイスでの再トレーニングやファインチューニングを必要とせず、高い推論効率を維持した。