[論文レビュー] CDKT-FL: Cross-Device Knowledge Transfer using Proxy Dataset in Federated Learning

Huy Quang Lê, Minh N. H. Nguyen+3 more|arXiv (Cornell University)|Apr 4, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

CDKT-FL は、フェデレーテッドラーニングにおけるクロスデバイス知識蒸留フレームワークを提案する。この手法は、小さなプロキシデータセットを用いて、モデル出力と表現を通じて知識を転送することで、パーソナライズドモデルの性能と学習の安定性を著しく向上させる。通信オーバーヘッドを低減し、プライバシーを強化しながら、FedAvg よりも最大10%高いクライアントパーソナライズド精度を達成する。

ABSTRACT

In a practical setting, how to enable robust Federated Learning (FL) systems, both in terms of generalization and personalization abilities, is one important research question. It is a challenging issue due to the consequences of non-i.i.d. properties of client's data, often referred to as statistical heterogeneity, and small local data samples from the various data distributions. Therefore, to develop robust generalized global and personalized models, conventional FL methods need to redesign the knowledge aggregation from biased local models while considering huge divergence of learning parameters due to skewed client data. In this work, we demonstrate that the knowledge transfer mechanism achieves these objectives and develop a novel knowledge distillation-based approach to study the extent of knowledge transfer between the global model and local models. Henceforth, our method considers the suitability of transferring the outcome distribution and (or) the embedding vector of representation from trained models during cross-device knowledge transfer using a small proxy dataset in heterogeneous FL. In doing so, we alternatively perform cross-device knowledge transfer following general formulations as 1) global knowledge transfer and 2) on-device knowledge transfer. Through simulations on three federated datasets, we show the proposed method achieves significant speedups and high personalized performance of local models. Furthermore, the proposed approach offers a more stable algorithm than other baselines during the training, with minimal communication data load when exchanging the trained model's outcomes and representation.

研究の動機と目的

• 統計的非同一性と非 i.i.d. データがフェデレーテッドラーニングにおけるモデル一般化性能とパーソナライズド性能を低下させるという課題に対処する。
• 歪んだデータ分布と限られたローカルデータを伴う非均質な FL 環境において、クライアントおよびグローバルモデルの性能と安定性を向上させる。
• 完全なモデルパラメータの代わりに、モデルの出力と表現を交換することで、通信コストとプライバシーリスクを低減する。
• プロキシデータセットと蒸留ベースの集約を用いて、非均質なモデルアーキテクチャ間での効果的な知識転送を実現する。
• 固定および動的ユーザー選択の両状況において、FedAvg よりも高速な収束と高いロバスト性を達成する。

提案手法

• 多様なデータ分布を模倣するためのプロキシデータセットを導入し、フェデレーテッドトレーニング中にデバイス間で一貫した知識転送を可能にする。
• 二段階の知識転送を実装する：(1) サーバーからクライアントへのグローバル知識転送、(2) クライアントからサーバーへのオンデバイス知識転送。
• 知識蒸留を用いて、グローバルおよびローカルモデルの出力確率（ソフトラベル）と中間表現（埋め込み）を転送する。
• 交差エントロピーと知識蒸留項を組み合わせた正則化損失関数を設計し、ハイパーパrameter α（一般化）と β（グローバル安定性）で制御する。
• クライアントが異なるモデルアーキテクチャとデータ分布を持つクロスデバイス FL 環境でこの手法を適用し、構造的整合性が不要な柔軟な集約を可能にする。
• 完全なパラメータではなく、モデルの出力と表現のみを交換することで、通信負荷を最小限に抑え、モデル逆引き攻撃によるプライバシー漏洩リスクを低減する。

実験結果

リサーチクエスチョン

• RQ1 プロキシデータセットを用いた知識蒸留は、非 i.i.d. データを伴うクロスデバイスフェデレーテッドラーニングにおいて、パーソナライズドモデル性能を向上させることができるか？
• RQ2 異なるデータセットおよびユーザー選択シナリオにおいて、CDKT-FL は FedAvg と比較して収束速度、安定性、一般化性能で優れているか？
• RQ3 完全なモデルパラメータではなく、モデル出力と表現を転送することは、通信効率とプライバシーにどのような影響を与えるか？
• RQ4 ハイパーパrameter α と β は、クライアント一般化性能（C-Gen）と特化性能（C-Spec）のトレードオフにどのように影響するか？
• RQ5 クライアントのモデルアーキテクチャがグローバルモデルと小さく、あるいは不一致であっても、CDKT-FL は高い性能を維持できるか？

主な発見

• 固定ユーザーのシナリオにおいて、CDKT-FL は Fashion-MNIST で FedAvg よりも最大10%高いクライアントパーソナライズド精度（C-Per）を達成し、CIFAR-10 では7%高い。
• ユーザーのサブセットを対象としたシナリオでは、CDKT-FL は Fashion-MNIST と CIFAR-10 で両方とも C-Per を5%向上させつつ、グローバルモデル性能は同等または上回る。
• 統計的非同一性とクライアントドリフトが生じる状況でも、CDKT-FL は FedAvg よりも高速な収束と高い学習安定性を示す。
• CDKT-FL は、完全なパラメータ送信を回避し、モデル出力と表現のみを交換することで、通信オーバーヘッドを低減する。
• プロキシデータセットにより、非均質なクライアントモデルであっても一貫した知識転送が可能となり、より小さなクライアントネットワークでも Fashion-MNIST で同等の性能を達成する。
• α を増加させることで C-Gen 性能が向上するが、C-Spec 性能はわずかに低下するため、一般化と特化のトレードオフが調整可能であることが示された。