[論文レビュー] SemiFed: Semi-supervised Federated Learning with Consistency and Pseudo-Labeling

Haowen Lin, Jian Lou+2 more|arXiv (Cornell University)|Aug 21, 2021

Privacy-Preserving Technologies in Data参考文献 29被引用数 22

ひとこと要約

SemiFedは、限られたラベル付きデータを前提とした半教師あり設定においてモデルの精度を向上させるために、一貫性正則化と偽ラベル化を統合した統一されたフェデレーテッドラーニングフレームワークを提案する。拡張されたビュー間での一貫性を強制し、高信頼度で複数クライアントが合意した偽ラベルのみを採用することで、CIFAR-10およびSVHNにおけるIIDおよび非IIDデータ分布の両方で頑健な性能を達成する。

ABSTRACT

Federated learning enables multiple clients, such as mobile phones and organizations, to collaboratively learn a shared model for prediction while protecting local data privacy. However, most recent research and applications of federated learning assume that all clients have fully labeled data, which is impractical in real-world settings. In this work, we focus on a new scenario for cross-silo federated learning, where data samples of each client are partially labeled. We borrow ideas from semi-supervised learning methods where a large amount of unlabeled data is utilized to improve the model's accuracy despite limited access to labeled examples. We propose a new framework dubbed SemiFed that unifies two dominant approaches for semi-supervised learning: consistency regularization and pseudo-labeling. SemiFed first applies advanced data augmentation techniques to enforce consistency regularization and then generates pseudo-labels using the model's predictions during training. SemiFed takes advantage of the federation so that for a given image, the pseudo-label holds only if multiple models from different clients produce a high-confidence prediction and agree on the same label. Extensive experiments on two image benchmarks demonstrate the effectiveness of our approach under both homogeneous and heterogeneous data distribution settings

研究の動機と目的

• クライアントが部分的にラベル付きのデータしか持たないという実用的な制限に対処し、完全な教師あり仮定が現実的でない状況を想定する。
• クライアント間で独立同分布でない（非IID）データが存在するという課題に対処し、ラベルなしデータを用いる際に性能が低下することを回避する。
• 具体的には一貫性正則化と偽ラベル化を含む半教師あり学習技術をフェデレーテッドラーニングフレームワークに統合し、ラベルなしデータを効果的に活用する。
• 複数のクライアントモデルが同じラベルに高信頼度で合意した場合にのみ偽ラベルを採用することで、ノイズや不一致のある偽ラベルに対する耐性を高める。
• 同一直線のデータ分割設定（IID）と異種のデータ分割設定（非IID）の両方で、提案手法の有効性を示す。

提案手法

• 同じ入力の摂動されたビュー間で予測が不変になるように、高度なデータ拡張技術（例：RandAugment）を用いた一貫性正則化を適用する。
• 初期段階ではラベル付きデータのみでモデルを学習し、その後、偽ラベル化を導入する前に予測を安定化させるためのウォームアップ段階を設ける。
• ローカルおよびグローバルモデルの両方の予測に基づき、高い信頼度（しきい値を超える）を持つラベルをラベルなしサンプルに対して生成する。
• 複数のクライアントモデルが同じラベルに高信頼度で合意した場合にのみ偽ラベル化を実施することで、ラベルの信頼性を高め、ノイズを低減する。
• ラベル付きデータに対する教師あり損失、拡張されたビュー間の一貫性損失、および検証済みの偽ラベル付きデータに対する偽教師あり損失を統合した統一された訓練目的関数を用いる。
• アブレーションスタディにおいて学習率スケジューリングが性能向上に寄与しなかったため、訓練全体を通して一定の学習率を維持する。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータ分布下でも、一貫性正則化がフェデレーテッドラーニングにおいてラベルなしデータを効果的に活用できるか？
• RQ2 一貫性正則化と組み合わせた偽ラベル化が、フェデレーテッド環境下でモデル性能をどのように向上させるか？
• RQ3 高信頼度の予測に対する複数クライアントの合意が、偽ラベルの信頼性を向上させ、性能の低下を防げるか？
• RQ4 提案されたSemiFedフレームワークは、IIDおよび非IIDのデータパーティショニング設定の両方で、頑健性と一般化性能を維持できるか？
• RQ5 異なる学習率スケジューリングが、SemiFedフレームワークの収束性および精度に与える影響は何か？

主な発見

• 非IIDデータ下でCIFAR-10において4,000ラベル付きサンプルを用いた場合、SemiFedはテスト精度75.51％を達成し、教師ありベースラインや偽ラベル化のみの手法を顕著に上回る。
• アブレーションスタディの結果、一貫性正則化のみを用いることで、より滑らかな訓練とより良い一般化が達成され、特に信頼度の高い予測が時間経過とともに向上する。
• 一貫性正則化なしの偽ラベル化でも、教師あり学習より性能が向上するが、SemiFedの完全なフレームワークがすべての設定で最良の結果をもたらす。
• SVHNでは、4,000ラベル付きサンプルを用いた場合、UDAベースラインがSemiFedをわずかに上回るが、これはタスクの単純さと高いベースライン精度によるものであり、改善の余地が限られていることを示唆している。
• 非IIDデータ下でも本手法は有効であり、分布シフトに対して耐性を示し、不適切なラベルなしデータによる性能低下を回避する。
• 一定の学習率を用いることで、スケジューリングより優れた結果が得られ、SemiFedフレームワークでは学習率の適応がやや重要でないことが示唆される。