[論文レビュー] DENSE: Data-Free One-Shot Federated Learning

Jie Zhang, Chen Chen+6 more|arXiv (Cornell University)|Dec 23, 2021

Privacy-Preserving Technologies in Data被引用数 33

ひとこと要約

DENSE はデータフリーのワンショットフェデレーテッドラーニングを、異種クライアントモデルのアンサンブルから合成データを生成し、グローバルモデルへ蒸留する二段階プロセスで実現します。

ABSTRACT

One-shot Federated Learning (FL) has recently emerged as a promising approach, which allows the central server to learn a model in a single communication round. Despite the low communication cost, existing one-shot FL methods are mostly impractical or face inherent limitations, \eg a public dataset is required, clients' models are homogeneous, and additional data/model information need to be uploaded. To overcome these issues, we propose a novel two-stage extbf{D}ata-fre extbf{E} o extbf{N}e- extbf{S}hot federated l extbf{E}arning (DENSE) framework, which trains the global model by a data generation stage and a model distillation stage. DENSE is a practical one-shot FL method that can be applied in reality due to the following advantages: (1) DENSE requires no additional information compared with other methods (except the model parameters) to be transferred between clients and the server; (2) DENSE does not require any auxiliary dataset for training; (3) DENSE considers model heterogeneity in FL, \ie different clients can have different model architectures. Experiments on a variety of real-world datasets demonstrate the superiority of our method.For example, DENSE outperforms the best baseline method Fed-ADI by 5.08\% on CIFAR10 dataset.

研究の動機と目的

• 補助データや敏感情報の共有なしに、実用的なワンショットフェデレーテッド学習を推進する。
• パラメータ平均化を回避してクライアント間のモデル異種性を実現する。
• アンサンブルモデルからの合成データ生成とグローバルモデルへの知識蒸留という二段階フレームワークを開発する。
• 実データを露出させず、プライバシー保護されたデータ生成を保証する。
• 非IIDの実世界データセットと異種クライアントアーキテクチャでの有効性を実証する。

提案手法

• Stage 1: 実データを公開せず、クライアントの訓練分布に似た合成データを生成するためにアンサンブルモデルを用いて補助ジェネレーターを訓練する。
• ジェネレーターを最適化するために、類似度（平均ロジット）、安定性（BN統計）、転移性（境界意識損失）を用いる。
• KL発散を用いた境界サポート損失を導入し、アンサンブルとグローバルモデルの意思決定境界の間に位置する合成データを促進する。
• Stage 2: アンサンブル教師モデルからグローバルなスチューデントモデルへ、合成データを用いて知識を蒸留し、アンサンブルのロジットとグローバルモデルの予測とのKL発散を最小化する。
• パラメータ平均化ではなく平均化ロジットを通じて知識を集約することで、モデル異種性をサポートし、異種クライアントアーキテクチャを可能にする。
• 不均衡データに対して性能をさらに改善するために、LDAM などの不均衡学習手法と組み合わせて DENSE を適用することも可能。

実験結果

リサーチクエスチョン

• RQ1 データフリーのワンショットフェデレーテッド学習フレームワークは補助データや生データ共有なしで強力なグローバルモデルを訓練できるか？
• RQ2 クライアント間のモデル異種性はパラメータ平均化ではなくアンサンブル蒸留を介してサポートできるか？
• RQ3 合成データ生成と知識蒸留の二段階プロセスは、非 IID 設定で FedAvg やデータフリーベースラインを上回るか？
• RQ4 BNベースの安定性と境界意識損失は合成データと最終的なグローバルモデルの質にどのように影響するか？
• RQ5 クライアント数の変動と不均衡学習技術の適用は DENSE の性能にどのような影響を与えるか？

主な発見

• DENSE は複数の実データセットと非 IID 設定において、強力なベースライン（例：Fed-ADI）より高い精度を達成する。
• DENSE は、特に非 IID および異種モデルシナリオで FedAvg を一貫して上回る。
• 二段階アプローチにより、モデルパラメータの平均化なしに異種クライアントモデルから単一のグローバルモデルへ効果的な知識移転が可能になる。
• 不均衡データに LDAM を組み込むと、特に高度に歪んだ CIFAR10 および SVHN 設定で性能がさらに向上する。
• DENSE を複数回の通信ラウンドに拡張すると精度がさらに向上する。