[論文レビュー] Federated Dropout -- A Simple Approach for Enabling Federated Learning on Resource Constrained Devices

Dingzhu Wen, Ki Jun Jeon+1 more|arXiv (Cornell University)|Sep 30, 2021

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、通信および計算負荷を低減するため、リソース制限のある端末の個々の C²（通信および計算）能力に基づいて、非一様かつランダムにプルーニングされたサブネットワーク（ドロップアウトを用いて）を割り当てる、Federated Dropout（FedDrop）と呼ばれる新しいフレームワークを提案する。FedDropは、モデルの多様性と精度を向上させることで、従来のFLおよび均一なドロップアウトを上回り、ドロップアウト率が高くなる状況下でもCIFAR-10で最大2.5%の精度向上を達成する。

ABSTRACT

Federated learning (FL) is a popular framework for training an AI model using distributed mobile data in a wireless network. It features data parallelism by distributing the learning task to multiple edge devices while attempting to preserve their local-data privacy. One main challenge confronting practical FL is that resource constrained devices struggle with the computation intensive task of updating of a deep-neural network model. To tackle the challenge, in this paper, a federated dropout (FedDrop) scheme is proposed building on the classic dropout scheme for random model pruning. Specifically, in each iteration of the FL algorithm, several subnets are independently generated from the global model at the server using dropout but with heterogeneous dropout rates (i.e., parameter-pruning probabilities),each of which is adapted to the state of an assigned channel. The subnets are downloaded to associated devices for updating. Thereby, FedDrop reduces both the communication overhead and devices' computation loads compared with the conventional FL while outperforming the latter in the case of overfitting and also the FL scheme with uniform dropout (i.e., identical subnets).

研究の動機と目的

• リソース制限のあるエッジデバイスにおけるフェデレーテッドラーニングにおける通信および計算のボトル neck を同時に解決すること。
• 従来の手法が性能を低下させるか、複雑性を増加させるという限界を克服すること。
• 能力にばらつきのあるモバイルおよびIoTデバイス上で、効率的かつプライバシーを守ったモデル学習を可能にすること。
• ドロップアウトを正則化の目的にとどめず、FLにおける動的負荷分散メカニズムとしても活用すること。
• 非一様なサブネットワーク更新を通じてモデルの多様性を高め、モデルの一般化性能と収束性を向上させること。

提案手法

• 各デバイスの通信速度および計算能力に応じて、異なるドロップアウト率を用いてグローバルモデルから複数のサブネットワークを生成する。
• 各デバイスにそのデバイス固有のサブネットワークを割り当てる。
• 1ラウンドあたりの遅延を最小限に抑えるとともに、モデル更新の品質をバランスさせるように、各デバイスのドロップアウト率を調整する。
• 完全なモデルの代わりに、プルーニングされたサブネットワークのみを学習および送信することで、通信および計算負荷を低減する。
• サーバーで更新されたサブネットワークを統合し、グローバルモデルを再構築および更新する。
• 1ラウンドあたりの遅延制約を用いて、C²効率とモデル性能を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトは正則化の目的に加え、フェデレーテッドラーニングにおける動的負荷分散メカニズムとしても再利用可能だろうか？
• RQ2 デバイスの能力に基づいた非一様なサブネットワーク割り当ては、均一なドロップアウトと比較して、学習遅延およびモデル精度にどのように影響するか？
• RQ3 フェデレーテッドラーニングにおけるサブネットワーク更新を用いる際、通信／計算負荷の低減と性能の低下の間にはどのようなトレードオフが生じるか？
• RQ4 従来のFLおよび均一なドロップアウトと比較して、FedDropはモデルの一般化性能を向上させ、過学習を軽減するだろうか？
• RQ5 非IIDデータ分布および異なるモデル複雑度の下で、FedDropの性能はどのように変化するか？

主な発見

• ドロップアウト率が0.6のとき、CIFAR-10データセットにおいてFedDropは均一なドロップアウトよりも最大2.5%高いテスト精度を達成する。
• FedDropは、特に過学習の条件下において、従来のFLおよび均一なドロップアウトを常に上回るモデル精度を示す。
• 1ラウンドあたりの遅延制約が厳しくなるほど、FedDropと均一なドロップアウトとの間の性能差が広がり、優れた効率性が示されている。
• 非IIDデータにおけるCNNMnistモデルでは、両方のドロップアウト方式ともドロップアウト率が上昇するにつれてわずかな性能低下を示すが、FedDropは全ドロップアウト率においてより高い精度を維持する。
• FedDropは、プルーニングされたサブネットワークのみを学習することで、通信および計算負荷を低減し、デバイス1台あたりのC²負荷を元のモデルサイズの(1−p)²まで削減する。
• 本手法は、モデルの多様性と計算の実行可能性の両方を効果的にバランスさせ、能力にばらつきのあるデバイス上でも効率的な学習を可能にする。