[論文レビュー] SemiFL: Semi-Supervised Federated Learning for Unlabeled Clients with Alternate Training

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Jun 2, 2021

Privacy-Preserving Technologies in Data参考文献 74被引用数 37

ひとこと要約

SemiFL は、グローバルモデルによって生成された疑似ラベルを使用し、ラベル付きデータでファインチューニングを行うことで性能を向上させるため、ラベルなしクライアントを含むフェデレーテッド設定での訓練をラベリング済みサーバーとラベルなしクライアントの間で交互に実行することにより、ラベルなしクライアントでの学習を可能にする。

ABSTRACT

Federated Learning allows the training of machine learning models by using the computation and private data resources of many distributed clients. Most existing results on Federated Learning (FL) assume the clients have ground-truth labels. However, in many practical scenarios, clients may be unable to label task-specific data due to a lack of expertise or resource. We propose SemiFL to address the problem of combining communication-efficient FL such as FedAvg with Semi-Supervised Learning (SSL). In SemiFL, clients have completely unlabeled data and can train multiple local epochs to reduce communication costs, while the server has a small amount of labeled data. We provide a theoretical understanding of the success of data augmentation-based SSL methods to illustrate the bottleneck of a vanilla combination of communication-efficient FL with SSL. To address this issue, we propose alternate training to `fine-tune global model with labeled data' and `generate pseudo-labels with the global model.' We conduct extensive experiments and demonstrate that our approach significantly improves the performance of a labeled server with unlabeled clients training with multiple local epochs. Moreover, our method outperforms many existing SSFL baselines and performs competitively with the state-of-the-art FL and SSL results.

研究の動機と目的

• ほとんどのクライアントがグラウンドトゥルースラベルを欠く場合のフェデレーテッド学習を動機づけ、この制約下での通信効率の高い半教師付き学習(SSL)を実証する。
• FedAvg に類似した通信効率と SSL を組み合わせ、ラベルなしクライアントが複数のローカルエポックを訓練できるようにする SemiFL を提案する。
• この設定で強いデータ拡張が SSL をなぜ有効にするか、そして vanilla FedAvg+SSL がなぜ機能しづらいかについて理論的洞察を提供する。
• グローバルモデルをラベル付きデータでファインチューニングすることと、グローバルモデルから疑似ラベルを生成することを交互に行う訓練方式を導入する。
• SemiFL が既存の SSFL ベースラインを上回り、最新の FL/SSL 手法と競合できることを実証的に示す。

提案手法

• サーバが小さなラベル付きデータセットを保持し、クライアントがラベルなしデータを保持する SemiFL を導入する。
• 交互訓練を提案する：(i) ラベル付きデータでグローバルモデルをファインチューニング、(ii) グローバルモデルとラベルなしデータを用いて疑似ラベルを生成。
• 高品質な疑似ラベルを選択するために信頼度閾値を用いる FixMatch-スタイルの疑似ラベル付けを採用する。
• 高信頼度の疑似ラベル付きサンプルに対して MixMatch-スタイルのミックスアップを適用し学習を強化する。
• 通信効率を達成しつつ疑似ラベルの品質を保つために、クライアントを複数のローカルエポックで訓練する。
• クライアントモデルを平均化して集約し、その後ラベルデータでサーバ側の最終ファインチューニングを行う。
• 強いデータ拡張が SSL の性能を改善し、SSL と FL の結合におけるボトルネックを緩和することを理論的に示す。

実験結果

リサーチクエスチョン

• RQ1 サーバが小さなラベル付きデータセットしか持たない場合、ラベルなしクライアントをフェデレーテッド学習にどのように効果的に組み込めるか？
• RQ2 交互訓練方式（ラベル付きデータでのファインチューニングとグローバルモデルからのみ疑似ラベルを生成する方式）は、ラベルなしクライアントを含む FL における SSL の性能を改善するか？
• RQ3 強いデータ拡張が SemiFL における疑似ラベルの品質と全体の性能に与える影響は？
• RQ4 SemiFL は既存の SSFL ベースラインおよび標準的な FL/SSL 手法と標準的なベンチマークでどう比較されるか？
• RQ5 提案する交互訓練アプローチの制約とトレードオフ（例：計算時間）は何か？

主な発見

• SemiFL はラベル付きサーバーの性能を、ラベルなしクライアントと共に既存の SSFL ベースラインよりも著しく改善する。
• CIFAR10 では SemiFL は vanilla FedAvg+FixMatch 構成より精度を大幅に向上させ、最新の FL/SSL パフォーマンスに近づく。
• SemiFL は特定のラベル付きデータ構成下で CIFAR10 における最先端の FL および SSL の結果との差を約1-2%のギャップまで縮める。
• 理論的分析は、強いデータ拡張がラベルなしクライアントを含む FL の設定下で SSL を可能にする重要な要因であることを支持する。
• 交互訓練の二つの要素—ラベル付きデータでのファインチューニングとグローバルモデルを用いた疑似ラベル生成—が性能向上にとって決定的であることをアブレーション研究で示す。
• CIFAR10、SVHN、CIFAR100 の実験結果は、SemiFL が既存の SSFL 手法を上回り、IID および一部の Non-IID 分割で集中化された SSL 手法と競合することを示す。