[論文レビュー] FedDTG:Federated Data-Free Knowledge Distillation via Three-Player Generative Adversarial Networks

Gao, Lingzhi, Zhang, Zhenyuan+1 more|arXiv (Cornell University)|Jan 10, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

FedDTGは、モデルパラメータやプロキシデータセットを共有せずに、プライバシーを守る知識蒸留を実現するデータフリーなフェデレーテッドディスティルレーションフレームワークを提案する。三者対戦型の生成対抗ネットワーク（GAN）を用い、グローバルジェネレータとクライアント間での相互ディスティルレーションを共同で最適化することで、収束速度の向上、非i.i.d.データ下でのロバストネスの向上、高い精度安定性を達成した。非i.i.d.データが極めて強い状況下でも、MNISTで最大94.97%のテスト精度を達成した。

ABSTRACT

While existing federated learning approaches primarily focus on aggregating local models to construct a global model, in realistic settings, some clients may be reluctant to share their private models due to the inclusion of privacy-sensitive information. Knowledge distillation, which can extract model knowledge without accessing model parameters, is well-suited for this federated scenario. However, most distillation methods in federated learning (federated distillation) require a proxy dataset, which is difficult to obtain in the real world. Therefore, in this paper, we introduce a distributed three-player Generative Adversarial Network (GAN) to implement data-free mutual distillation and propose an effective method called FedDTG. We confirmed that the fake samples generated by GAN can make federated distillation more efficient and robust. Additionally, the distillation process between clients can deliver good individual client performance while simultaneously acquiring global knowledge and protecting data privacy. Our extensive experiments on benchmark vision datasets demonstrate that our method outperforms other federated distillation algorithms in terms of generalization.

研究の動機と目的

• プライバシー上の懸念から、クライアントが個人のモデルパラメータを共有することを拒むフェデレーテッドラーニングの課題に対処すること。
• 現実世界のシナリオではしばしば入手が困難なプロキシデータセットに依存する既存のフェデレーテッドディスティルレーション手法の課題を克服すること。
• 非i.i.d.データ分布下でのフェデレーテッドラーニングのロバストネスと収束速度を向上させること。
• 同一のモデルアーキテクチャを必要とせずに、クライアント間での有効な知識蒸留を可能にすること。
• ローカルデータを拡張し、パーソナライゼーションと安定性を向上させるグローバルな生成モデルの開発

提案手法

• グローバルジェネレータ、クライアント固有のディスクリミネータ、クライアント固有の学生モデルからなる三者対戦型GANアーキテクチャを導入する。
• グローバルジェネレータが生成する合成データが、ローカル学習を正則化し、クライアント間での相互ディスティルレーションを支援する。
• グローバルジェネレータの出力から得られるソフトラベルを用いて、クライアントモデル間で相互ディスティルレーションを実行し、モデルパラメータの共有なしに知識共有を実現する。
• 統合されたトレーニングループ内で、ローカルパーソナライゼーション、相互ディスティルレーション、GANトレーニングを同時に最適化する。
• グローバルジェネレータは、グローバルデータ分布に一致する現実的な合成サンプルを生成するように訓練され、一般化性能が向上する。
• モデルパラメータの共有やプロキシデータセットを必要としないため、プライバシーを守った知識移転が可能になる。

実験結果

リサーチクエスチョン

• RQ1 プロキシデータセットやモデルパラメータの共有に依存せずに、データフリーなフェデレーテッドディスティルレーションアプローチが高精度を達成できるか？
• RQ2 共有のグローバルジェネレータを介してクライアント間で相互ディスティルレーションが実行される場合、非i.i.d.データ下での収束性とロバストネスはどのように向上するか？
• RQ3 グローバルジェネレータが生成する合成データは、ローカルモデルの学習をどの程度向上させ、クライアント間の精度ばらつきをどの程度低減するか？
• RQ4 極めて不均衡なデータ分布を持つクライアント間でも、FedDTGは高い性能を維持できるか？
• RQ5 提案手法は、再トレーニングなしに異なるモデルアーキテクチャーやタスクに一般化可能か？

主な発見

• FedDTGは、極めて非i.i.d.な設定（α=0.05、r=25%）下でMNISTで94.97%のテスト精度を達成し、FedAvgやFedGenを著しく上回った。
• FedDTGにおける最も成績が悪かったクライアントでも、ローカルテストセットで92.15%の精度を達成しており、クライアント間での性能ばらつきが小さく、強いロバストネスを示した。
• 極度に不均衡な状況（例：1クライアントあたり1クラス、極端なサンプル不均衡）下でも、FedDTGは最小限の変動で安定した学習曲線を示した。
• アブレーションスタディの結果、グローバルジェネレータと相互ディスティルレーションの両方が不可欠であることが確認された。両方を削除すると性能が2%以上低下し、相互ディスティルレーションのみでは92.33%、グローバルジェネレータのみでは93.78%の精度となった。
• FedDTGはクライアント間の精度差を縮小し、特に高いデータ非独立性下で収束速度が向上した。FedGen や FedDF よりも多くの設定で優れた性能を示した。
• グローバルジェネレータが生成する合成サンプルは、他のフェデレーテッドディスティルレーションアルゴリズムのプロキシデータセットとして再利用可能であり、再利用性と一般化性能を示した。