[論文レビュー] DFRD: Data-Free Robustness Distillation for Heterogeneous Federated Learning

Kangyang Luo, Shuai Wang+4 more|arXiv (Cornell University)|Sep 24, 2023

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

DFRD はデータとモデルの異質性を抱えるフェデレーテッドラーニングに対し、条件付きジェネレーターと EMA、動的ウェイト付け、ラベルサンプリングを用いてデータ公開なしで知識を蒸留するデータフリーロバストネス蒸留を導入します。

ABSTRACT

Federated Learning (FL) is a privacy-constrained decentralized machine learning paradigm in which clients enable collaborative training without compromising private data. However, how to learn a robust global model in the data-heterogeneous and model-heterogeneous FL scenarios is challenging. To address it, we resort to data-free knowledge distillation to propose a new FL method (namely DFRD). DFRD equips a conditional generator on the server to approximate the training space of the local models uploaded by clients, and systematically investigates its training in terms of fidelity, transferability} and diversity. To overcome the catastrophic forgetting of the global model caused by the distribution shifts of the generator across communication rounds, we maintain an exponential moving average copy of the generator on the server. Additionally, we propose dynamic weighting and label sampling to accurately extract knowledge from local models. Finally, our extensive experiments on various image classification tasks illustrate that DFRD achieves significant performance gains compared to SOTA baselines.

研究の動機と目的

• フェデレーテッドラーニングにおけるデータ異質性とモデル異質性に対処する。
• クライアントが異なるデータ分布とアーキテクチャを持つ場合でも堅牢なグローバルモデル訓練を可能にする。
• プライベートデータにアクセスせず局所訓練空間を近似するデータフリーモ知識蒸留を活用する。
• EMA ジェネレーターと改善されたデータサンプリング戦略を用いて破局的忘却を緩和する。

提案手法

• サーバーサイドの条件付きジェネレーター G(w) をデプロイし、ノイズ z とラベル y から合成データ s を生成する。
• 選択されたクライアント群の生成データロジットと真のラベルとの CE 損失を最小化して忠実度を最適化する: L_fid = CE( sum_i in S_t tau_i,y f_i(s, theta_i), y )。
• グローバルロジットとアンサンブルロジットを整合させるよう KL 発散に基づく敵対的転送損失 L_tran で転送性を強化する。
• 合成データの多様性を促進するために、バッチベースのペアワイズ距離目的関数を用いた多様性損失 L_div を導入する。
• 分布シフトを緩和するため、ジェネレーター G ˜(w˜) の EMA コピーを維持し、EMA 更新 w˜^t = lambda w˜^{t-1} + (1-lambda) w^t を適用し、そのデータを頑健な蒸留に使用する。
• 動的ウェイト付け tau_i,y とクライアントごとのラベルカウントに比例するラベルサンプリング p(y) を用いて、局所モデルからの知識抽出を改善する。
• グローバルモデルのロジットとアンサンブルロジット、および EMA 生成データを共同最適化して頑健なモデル蒸留を実施する。

実験結果

リサーチクエスチョン

• RQ1 データとモデルの異質性が同時に存在する状況で、データフリーロ知識蒸留はFLで頑健なグローバルモデルをどう実現できるか？
• RQ2 条件付きジェネレーターは、破局的忘却を避けつつ異質なクライアント間で局所訓練空間を忠実に近似できるか？
• RQ3 動的ウェイト付けとラベルサンプリングはデータフリ FL における多様な局所モデルからの知識抽出を改善するか？
• RQ4 PT ベースの（異質な）FL アプローチに対するファインチューニング手法として、DFRD は標準の FedAvg ベースラインよりもパフォーマンスを向上させるか？

主な発見

• DFRD は広範な画像分類実験で先行研究ベースラインに対して顕著な性能向上を示す。
• DFRD はデータ異質性とモデル異質性のさまざまな程度に対して頑健で、PT ベースの手法を複数のデータセットで上回る。
• EMA ジェネレーターは、ジェネレーターの分布シフトによって生じる破局的忘却を低減することでグローバルモデルの更新を安定化させる。
• 動的ウェイト付けとラベルサンプリングは局所モデルからの知識抽出を改善し、グローバル精度の向上に寄与する。
• ファインチューニング手法として使用すると、DFRD は PT ベースの前処理を超えるグローバルモデルを強化する。
• 総じて、DFRD は多様なデータセットと異質性設定に対して一貫してグローバル精度を向上させる。