[論文レビュー] Dual Class-Aware Contrastive Federated Semi-Supervised Learning

Qi Guo, Yong Qi+2 more|arXiv (Cornell University)|Nov 16, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、二重クラス認識型対照的フェデレーテッド半教師あり学習（DCCFSSL）を提案する。これは、ラベル付きクライアントとラベルなしクライアント間のモデルのずれを低減し、二重クラス認識型対照モジュールと認証再重み付け集約を用いて確認バイアスを軽減する、フェデレーテッド半教師あり学習の新規手法である。DCCFSSLは、CIFAR-10、CIFAR-100、STL-10でラベル付きクライアントがたった10%の状況ですでに標準的なフェデレーテッド教師あり学習を上回る最先端の性能を達成している。

ABSTRACT

Federated semi-supervised learning (FSSL), facilitates labeled clients and unlabeled clients jointly training a global model without sharing private data. Existing FSSL methods predominantly employ pseudo-labeling and consistency regularization to exploit the knowledge of unlabeled data, achieving notable success in raw data utilization. However, these training processes are hindered by large deviations between uploaded local models of labeled and unlabeled clients, as well as confirmation bias introduced by noisy pseudo-labels, both of which negatively affect the global model's performance. In this paper, we present a novel FSSL method called Dual Class-aware Contrastive Federated Semi-Supervised Learning (DCCFSSL). This method accounts for both the local class-aware distribution of each client's data and the global class-aware distribution of all clients' data within the feature space. By implementing a dual class-aware contrastive module, DCCFSSL establishes a unified training objective for different clients to tackle large deviations and incorporates contrastive information in the feature space to mitigate confirmation bias. Moreover, DCCFSSL introduces an authentication-reweighted aggregation technique to improve the server's aggregation robustness. Our comprehensive experiments show that DCCFSSL outperforms current state-of-the-art methods on three benchmark datasets and surpasses the FedAvg with relabeled unlabeled clients on CIFAR-10, CIFAR-100, and STL-10 datasets. To our knowledge, we are the first to present an FSSL method that utilizes only 10\% labeled clients, while still achieving superior performance compared to standard federated supervised learning, which uses all clients with labeled data.

研究の動機と目的

• フェデレーテッド半教師あり学習（FSSL）におけるラベル付きクライアントとラベルなしクライアントの局所モデル間の大きなずれを解消すること。これは、訓練目的の違いとデータの非独立同分布性に起因する。
• 一貫性正則化の過程で自己生成ラベルに過剰適合することによって生じる、ノイズの多い疑似ラベルに起因する確認バイアスを軽減すること。
• 特徴空間における局所的およびグローバルなクラス認識分布の整合性を高めることで、ラベル付きクライアントとラベルなしクライアント間の効果的な協調学習を可能にすること。
• 信頼性の高いサンプルに基づく認証再重み付け集約メカニズムを導入することで、中央サーバーにおける集約の頑健性を向上させること。
• ベンチマークデータセット上で、最小限のラベル付きデータ（具体的には10%のラベル付きクライアント）でFSSLが、完全教師ありフェデレーテッド学習を上回る優れた性能を達成できることを示すこと。

提案手法

• 各クライアントの局所的クラス認識分布と、すべてのクライアント全体におけるグローバルクラス認識分布を特徴空間でモデル化する二重クラス認識型対照モジュールを導入する。
• 局所プロトタイプとグローバルプロトタイプを一致させる統一された対照損失を定式化し、ラベル付きクライアントとラベルなしクライアントのモデル間の乖離を低減する。
• 各クラスの代表埋め込みとしてクラスプロトタイプを活用し、特徴空間の整合性を向上させ、一般化性能を向上させる。
• より信頼性の高い（認証済み）疑似ラベル付きサンプルを持つクライアントに高い重みを割り当てる認証再重み付け集約戦略を設計する。
• 疑似ラベル付けと一貫性正則化を統合しつつ、対照学習を用いて特徴表現を精錬し、疑似ラベルのノイズを低減する。
• モデルサイズに依存しない、固定サイズのプロトタイプ表現を各クライアントに追加することで、通信オーバーヘッドを低く保つ。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド半教師あり学習におけるラベル付きクライアントとラベルなしクライアント間のモデルのずれを低減するための統一された訓練目的を設計できるか？
• RQ2 モデルの信頼度しきい値に依存せずに、ノイズの多い疑似ラベルに起因する確認バイアスを効果的に軽減できるか？
• RQ3 二重クラス認識型対照学習メカニズムは、特徴空間における局所的およびグローバルクラス分布の整合性をどの程度向上させられるか？
• RQ4 ラベル付きクライアントとラベルなしクライアントの割合が変化する場合、とくにラベル付きデータが極めて限られた状況でも、DCCFSSLの性能はどの程度スケーリングするか？
• RQ5 ラベル付きクライアントがたった10%の状況でも、DCCFSSLは標準的なフェデレーテッド教師あり学習を上回ることができるか。また、頑健性と一般化性能を維持できるか？

主な発見

• IID設定下で、CIFAR-10ではラベル付きクライアントが10%、ラベルなしクライアントが90%の状況で88.47%の正確度を達成し、すべてのクライアントがラベル付きのFedAvgを2.92%上回った。
• CIFAR-100では、ラベル付きクライアントが10%の状況で88.36%の正確度を達成し、標準的なフェデレーテッド教師あり学習を11.64%上回った。
• たった1人のラベル付きクライアントしか存在しない状況でも、CIFAR-10のIID設定下で75.76%の正確度、Non-IID設定下で54.84%の正確度を達成し、最小限のラベル付きデータでも強力な一般化性能を示した。
• Non-IID設定下でたった1人のクライアントがラベル付きの場合、DCCFSSLはFedAvg-SL-Lowerに対して34.81%、FedAvg-SL-Lowerに対して19.26%の性能向上を達成した。
• 通信コストは、全データセットで0.1848%から1.817%にしか上昇しなかったため、クロスシロフェデレーテッド学習環境において実用的である。
• DCCFSSLは、すべてのベンチマークで訓練の安定性を著しく向上させ、AUCおよびF1スコアも上昇させ、頑健性と一貫性の向上を確認した。