[論文レビュー] Meta Knowledge Condensation for Federated Learning

Ping Liu, Xin Yu+1 more|arXiv (Cornell University)|Sep 29, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、ローカルデータをコンパクトなメタ知識に圧縮してグローバルモデルの学習に活用する通信効率の高いフェデレーテッドラーニングフレームワーク、FedMKを提案する。動的重み割り当てとメタ知識共有を用いることで、通信コストを低減し、最先端の性能を達成した—MNISTでは10回の通信ラウンドで精度を74.07%から92.95%まで向上させた。

ABSTRACT

Existing federated learning paradigms usually extensively exchange distributed models at a central solver to achieve a more powerful model. However, this would incur severe communication burden between a server and multiple clients especially when data distributions are heterogeneous. As a result, current federated learning methods often require a large number of communication rounds in training. Unlike existing paradigms, we introduce an alternative perspective to significantly decrease the communication cost in federate learning. In this work, we first introduce a meta knowledge representation method that extracts meta knowledge from distributed clients. The extracted meta knowledge encodes essential information that can be used to improve the current model. As the training progresses, the contributions of training samples to a federated model also vary. Thus, we introduce a dynamic weight assignment mechanism that enables samples to contribute adaptively to the current model update. Then, informative meta knowledge from all active clients is sent to the server for model update. Training a model on the combined meta knowledge without exposing original data among different clients can significantly mitigate the heterogeneity issues. Moreover, to further ameliorate data heterogeneity, we also exchange meta knowledge among clients as conditional initialization for local meta knowledge extraction. Extensive experiments demonstrate the effectiveness and efficiency of our proposed method. Remarkably, our method outperforms the state-of-the-art by a large margin (from $74.07\%$ to $92.95\%$) on MNIST with a restricted communication budget (i.e. 10 rounds).

研究の動機と目的

• クライアントとサーバー間での頻繁なモデル交換に起因するフェデレーテッドラーニングにおける高い通信コストを低減すること。
• 生データを共有せずに、分散化されたクライアント間でのデータ非同一性を緩和すること。
• 高性能なグローバルモデルを訓練するために必要な通信ラウンド数を削減すること。
• 生データや完全なモデルではなく、圧縮され代表的な知識のみを送信するプライバシー保護型手法を開発すること。
• メタ知識を用いた条件付き初期化と学習可能な制約により、学習の安定性と収束性を向上させること。

提案手法

• 二段階最適化プロセスを用いて、クライントのローカルデータを高圧縮なメタ知識に圧縮する：内側のループでモデルを更新し、外側のループでメタ知識を最適化する。
• 訓練損失に基づいてサンプルの重みを動的に割り当て、モデル更新への寄与度を適応的に制御する。
• メタ知識共有を実装し、メタ知識最適化のための条件付き初期化を提供することで、クライアント間の知識共有を強化する。
• アップロードされたメタ知識と、メタ知識分布をモデル化する学習可能な条件付きジェネレータによって生成された合成サンプルを用いてグローバルモデルを訓練する。
• 中央モデルの学習中に学習可能な制約を導入し、安定性と一般化性能を向上させる。
• 生成された合成データを歴史的文脈として活用し、生データへの依存度を低減する。

実験結果

リサーチクエスチョン

• RQ1 メタ知識の圧縮は、モデル性能を維持したままフェデレーテッドラーニングにおける通信オーバーヘッドを顕著に低減できるか？
• RQ2 データ非同一性下で、動的重み割り当てはモデルの収束性をどのように向上させるか？
• RQ3 分散環境下において、メタ知識共有はクライアント間での知識伝達をどの程度強化するか？
• RQ4 圧縮されたメタ知識に基づいて訓練されたグローバルモデルは、限られた通信ラウンド数で標準的な平均化手法を上回る性能を示せるか？
• RQ5 10回の通信ラウンドという制限下でも、提案手法はモデル精度をどの程度維持できるか？

主な発見

• FedMKは、10回の通信ラウンドでMNISTにおいて92.95%のテスト精度を達成した。これは、同じ予算下で前回のSOTA（74.07%）を大幅に上回った。
• FedMKの通信コストは10ラウンドで約1600万パラメータに抑えられ、200ラウンドで42000万パラメータを要するFedAvgと比較して、通信コストを26倍削減した。
• 可視化とプライバシー評価の結果、メタ知識は極めて高圧縮であり、意味的にぼかされていることが示され、メタ知識から元のデータを再構築することは非現実的である。
• 動的重み割り当てとメタ知識共有の組み合わせにより、特にデータ非同一性下でも収束が速く、一般化性能が向上した。
• 学習可能な条件付きジェネレータにより、アップロードされたメタ知識の統計的分布をモデル化した合成データが提供され、学習の安定性が向上した。
• FedMKは、MNIST、SVHN、CIFAR10、CIFAR100の全データセットで、すべての比較手法を上回り、特に通信予算が限られた環境下で顕著な優位性を示した。