[論文レビュー] Heterogeneous Data-Aware Federated Learning

Lixuan Yang, Cedric Beliard+1 more|arXiv (Cornell University)|Nov 12, 2020

Privacy-Preserving Technologies in Data参考文献 13被引用数 8

ひとこと要約

本稿では、モデルパラメータを汎用（共有）およびクライアント固有（非共有）のコンponentに分離する、新しいフェデレーテッドラーニングフレームワークであるHeterogeneous Data-Aware Federated Learning（HDAFL）を提案する。汎用特徴量のみを集約し、各クライアントの非共有分類器を保持することで、非i.i.d.、クラスが不一致、マルチモーダルなデータ条件下でも、正確性、収束速度、通信効率が向上する。特に、通信コストを最大2倍まで削減し、FedAvgと比較して顕著な正確性の損失が少ない。

ABSTRACT

Federated learning (FL) is an appealing concept to perform distributed training of Neural Networks (NN) while keeping data private. With the industrialization of the FL framework, we identify several problems hampering its successful deployment, such as presence of non i.i.d data, disjoint classes, signal multi-modality across datasets. In this work, we address these problems by proposing a novel method that not only (1) aggregates generic model parameters (e.g. a common set of task generic NN layers) on server (e.g. in traditional FL), but also (2) keeps a set of parameters (e.g, a set of task specific NN layer) specific to each client. We validate our method on the traditionally used public benchmarks (e.g., Femnist) as well as on our proprietary collected dataset (i.e., traffic classification). Results show the benefit of our method, with significant advantage on extreme cases.

研究の動機と目的

• 実世界の展開において、データが非i.i.d.であり、クラス分布が不一致であり、クライアント間で信号のマルチモーダル性を示す状況におけるフェデレーテッドラーニングの限界を解決すること。
• データの不均一性によって引き起こされる通信オーバーヘッドとモデルの分散を低減しつつ、モデルのプライバシーを維持すること。
• 完全なモデル共有が制限されるプライバシーに配慮した環境での実用的フェデレーテッドラーニングの実現。
• 極端なデータの不均衡と不均一性下での収束速度と正確性の安定性の向上。
• 公開ベンチマーク（例：FEMNIST）および大規模な特許情報のTCP/IPトラフィック分類データセットの両方で、手法の妥当性を検証すること。

提案手法

• ニューラルネットワークを2つの部分に分解する：汎用の共有レイヤー（例：特徴抽出器）とクライアント固有のレイヤー（例：タスク固有の分類器）。
• 汎用パラメータは、サーバーでFedAvgスタイルの平均化を用いてクライアント間で集約され、クライアント固有のパラメータはローカルで学習され、決して共有されない。
• 学習プロセスは、各クライアントのプライベートモデルにおけるローカルアップデートと、グローバルな汎用特徴抽出器パラメータの集約を交互に実行する。
• 完全なモデルや最終的な分類器ではなく、汎用特徴抽出コンponentのみを交換することで、モデルのプライバシーを確保する。
• 通信コストが削減されるのは、1ラウンドあたり送信されるパラメータのうち、より小さい汎用パラメータセットのみを送信するためであり、安定したグローバル特徴学習のおかげで重みの分散が最小限に抑えられる。
• 実世界のデータの不均一性を模擬するため、非i.i.d.およびクラスが不一致のサンプリングポリシーを用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 データが非i.i.d.であり、クラスが不一致であり、信号のマルチモーダル性を示す状況下でも、フェデレーテッドラーニングフレームワークが高いモデル正確性を維持できるか？
• RQ2 汎用パラメータとクライアント固有パラメータを分離することで、標準的なFedAvgと比較して収束速度と通信効率が向上するか？
• RQ3 HDAFLは、異種データ環境下で通信コストをどれほど削減できるか？正確性は維持または向上するか？
• RQ4 HDAFLは、極端なデータの不均衡とプライバシー制約下でFedAvgと比較して、どのように性能を発揮するか？
• RQ5 実世界の応用例（例：TCP/IPトラフィック分類）において、HDAFLは通信コストを10倍に削減し、1%の正確性損失を達成できるか？

主な発見

• HDAFLは、非i.i.d.なFEMNISTデータで78%の正確性に到達するまでに通信コストを2倍まで削減（86.8 MB 対 171.7 MB）し、FedAvgを上回った。
• 50人のクライアントを用いた場合、HDAFLは78%の正確性に到達するまでに83ラウンドで完了し、FedAvgより1.3倍速く、通信量も1.5倍削減された。
• TCP/IPトラフィック分類タスクでは、4ラウンド後に通信コストを33倍まで削減し、正確性損失はわずか1.2%にとどまり、1%の目標をFedAvgよりも早く達成した。
• 8ラウンド後、HDAFLは0.4%の正確性損失で通信コストを16.5倍まで削減したが、FedAvgは1%の正確性損失のしきい値に到達できなかった。
• 重みの分散が低減されたため、収束曲線が滑らかで、特にクライアント数が少ない場合にモデルの安定性が向上した。
• 極端なデータの不均一性下でも高い性能を維持し、データの不均衡が大きくなるほど性能向上が顕著になった。