[論文レビュー] Adaptive Parameterization of Deep Learning Models for Federated Learning

Morten From Elvebakken, Alexandros Iosifidis+1 more|arXiv (Cornell University)|Feb 6, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この論文では、非IIDデータ分布下でも、通信負荷を最大90％まで低減しつつ、完全なモデル微調整と同等の推論性能を維持するため、フェデレーテッドラーニングにおける並列アダプタの使用を提案する。クライアントは、小さなタスク固有のモジュールであるアダプタパラメータのみを訓練し、最小限のデータを交換することで、クロスシロおよびクロスデバイスのFL設定における帯域幅の使用を顕著に削減する。

ABSTRACT

Federated Learning offers a way to train deep neural networks in a distributed fashion. While this addresses limitations related to distributed data, it incurs a communication overhead as the model parameters or gradients need to be exchanged regularly during training. This can be an issue with large scale distribution of learning tasks and negate the benefit of the respective resource distribution. In this paper, we we propose to utilise parallel Adapters for Federated Learning. Using various datasets, we show that Adapters can be incorporated to different Federated Learning techniques. We highlight that our approach can achieve similar inference performance compared to training the full model while reducing the communication overhead by roughly 90%. We further explore the applicability of Adapters in cross-silo and cross-device settings, as well as different non-IID data distributions.

研究の動機と目的

• トレーニングラウンド中にクライントとサーバー間で送信されるデータ量を最小限に抑えることで、フェデレーテッドラーニングにおける通信オーバーヘッドを低減すること。
• 完全なモデル微調整と同等の高い推論性能を維持しつつ、軽量なアダプタパラメータのみを交換すること。
• 非IIDデータ分布が異なる状況下で、クロスシロおよびクロスデバイスのフェデレーテッドラーニング設定におけるアダプタの有効性を評価すること。
• 完全なモデル重みではなくアダプタのみを交換することで得られるセキュリティおよびスケーラビリティの利点を調査すること。
• アダプタがベースモデルの構造を変更せずに、既存のFLアルゴリズムにプラグインとして統合可能であることを示すこと。

提案手法

• 事前学習済みでドメインに依存しないベースモデルに、軽量でトレーニング可能なモジュールである並列アダプタを挿入する。
• フェデレーテッドラーニングラウンド中は、ベースモデルの重みを凍結したまま、アダプタパラメータのみを訓練する。
• クライントとサーバー間で交換するのはアダプタのstate_dictsのみであり、ペイロードサイズを22.2 MB（完全なモデル）から2.58 MB（アダプタのみ）に削減する。
• ベースラインのFLアルゴリズムとしてFedAvg、FedProx、FedNovaを用い、アダプタを追加コンponentsとして統合する。
• クロスデバイスおよびクロスシロの両設定で、クライント間の非IIDデータを模擬するため、ラベル分布の偏りと特徴分布の偏りを適用する。
• すべてのクライントで一貫した初期化を保証するため、アダプタを中央で初期化し、モデルの整合性を維持する。

実験結果

リサーチクエスチョン

• RQ1 アダプタは、モデル精度を損なわせることなく、フェデレーテッドラーニングにおける通信オーバーヘッドを低減できるか？
• RQ2 ラベル偏りや特徴偏りといった異なる非IIDデータ分布下で、アダプタベースのFLはどのように動作するか？
• RQ3 アダプタと完全なモデル微調整の間で、通信コストと推論性能のトレードオフはどのようなものか？
• RQ4 クライント参加率やリソース制約が異なる状況下で、クロスシロおよびクロスデバイスのFL設定におけるスケーラビリティはどの程度か？
• RQ5 ベースモデルの重みを露出するのを制限することで、アダプタはフェデレーテッドラーニングにおけるセキュリティを向上させられるか？

主な発見

• 提案されたアダプタベースのFLアプローチにより、通信オーバーヘッドが約90％削減され、ペイロードサイズは22.2 MB（完全なモデル）から2.58 MB（アダプタのみ）にまで低下した。
• FedAvg、FedProx、FedNovaを含む複数のデータセットおよびFLアルゴリズムにおいて、アダプタベースのFLは完全なモデル微調整と同等の推論性能を達成した。
• M=1（極端なクラス不均衡）の数量ベースのラベル不均衡下では、完全な微調整とアダプタ訓練の両方とも収束が悪くなるが、アダプタ訓練は低い学習率で安定性を保った。
• 分布ベースのラベル不均衡下では、アダプタベースのFLは完全な微調整と比較して顕著な性能差を示し、特定の非IIDパターンに対して感受性が高いことがわかった。
• この手法は既存のFLアルゴリズムと互換性があり、ベースモデルのアーキテクチャを変更せずにプラグインソリューションとして利用可能である。
• アダプタは、盗聴された通信に含まれる非機能的なアダプタ重みのみが含まれるため、セキュリティを向上させ、ベースモデルが存在しないと有用でないことを保証する。