[論文レビュー] Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning

Lin Zhang, Li Shen+3 more|arXiv (Cornell University)|Mar 17, 2022

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿では、非IIDデータによる性能低下を軽減するために、生成されたハードサンプルを用いてグローバルモデルを微調整する、データフリー知識蒸留手法であるFedFTGを提案する。サーバー上で動作するジェネレータを活用してローカルモデルからの知識をマイニング・転送することで、複数のベンチマークで収束性と精度が向上し、実世界のデータセットではSOTA手法を最大6%上回る性能を達成する。

ABSTRACT

Federated Learning (FL) is an emerging distributed learning paradigm under privacy constraint. Data heterogeneity is one of the main challenges in FL, which results in slow convergence and degraded performance. Most existing approaches only tackle the heterogeneity challenge by restricting the local model update in client, ignoring the performance drop caused by direct global model aggregation. Instead, we propose a data-free knowledge distillation method to fine-tune the global model in the server (FedFTG), which relieves the issue of direct model aggregation. Concretely, FedFTG explores the input space of local models through a generator, and uses it to transfer the knowledge from local models to the global model. Besides, we propose a hard sample mining scheme to achieve effective knowledge distillation throughout the training. In addition, we develop customized label sampling and class-level ensemble to derive maximum utilization of knowledge, which implicitly mitigates the distribution discrepancy across clients. Extensive experiments show that our FedFTG significantly outperforms the state-of-the-art (SOTA) FL algorithms and can serve as a strong plugin for enhancing FedAvg, FedProx, FedDyn, and SCAFFOLD.

研究の動機と目的

• 直接的なモデルアグリゲーションと知識の忘却が原因で生じる非IIDフェデレーテッドラーニングにおける性能低下を是正する。
• 未活用されているサーバー側の計算リソースを活用して、グローバルモデルの汎化性能を向上させる。
• 生データの送信を回避するために合成データを生成するプライバシー保護手法を開発する。
• カスタマイズされたラベルサンプリングとクラスレベルのアンサンブル技術を用いて、クライアント間のラベル分布シフトを軽減する。
• 既存のローカル最適化手法（FedAvg、FedProx、FedDyn、SCAFFOLD、MOON）と直交するプラグイン型ソリューションを設計する。

提案手法

• サーバーでジェネレータを訓練し、ローカルモデルの入力空間をモデル化し、知識蒸留用の擬似データを生成する。
• ローカルモデルとグローバルモデルの予測の不一致を引き起こすサンプルを特定・優先順位付けするハードサンプルマイニング戦略を実装する。
• 生クライアントデータにアクセスせずに、データフリー蒸留を用いてローカルモデルからグローバルモデルへ知識を転送する。
• 知識転送中にクライアント間のラベル分布のずれを是正するため、カスタマイズされたラベルサンプリングを適用する。
• クライアント間の予測をアンサンブル化することで、クラスレベルのアンサンブルを用い、知識の活用度を最大化する。
• プライバシーを保ちながら性能を向上させるために、データフリーな方法でジェネレータとグローバルモデルを敵対的に訓練する。

実験結果

リサーチクエスチョン

• RQ1 アグリゲーション後にグローバルモデルを微調整することで、非IIDフェデレーテッドラーニングにおける性能向上が図れるか？
• RQ2 生クライアントデータにアクセスせずに、ローカルモデルからグローバルモデルへ知識を効果的に転送する方法は何か？
• RQ3 異種データ環境下での知識蒸留の向上に、ハードサンプルマイニングが果たす役割は何か？
• RQ4 グローバルモデルの最適化段階で、クライアント間のラベル分布シフトはどのように軽減できるか？
• RQ5 FedFTGは、既存のフェデレーテッド最適化アルゴリズムを強化するためのプラグインとして、どの程度統合可能か？

主な発見

• MIO-TCDでは91.16%のテスト精度を達成し、FedAvg（89.63%）およびFedProx（89.69%）を1.5ポイント以上上回る。
• CompCarでは51.85%の精度を達成し、FedDyn（50.46%）およびSCAFFOLD（48.64%）を3%以上上回る。
• Tiny-ImageNetでは42.23%の精度を達成し、FedGen（35.44%）およびFedDF（36.19%）を6%以上上回る。
• FedFTGはすべてのベンチマークで性能を向上させ、FedAvg、FedProx、FedDyn、SCAFFOLD、MOON、FedGen、FedDFを含むSOTA手法を一貫して上回る優位性を示す。
• 通信オーバーヘッドはほとんどなく、送信されるのはラベル統計情報のみで、ラベルにノイズを加えても性能低下は0.1%未満である。
• FedAvgと比較して、1ラウンドあたりの学習時間が約2倍程度増加するが、顕著な精度向上を実現するため、そのコストは妥当である。