[論文レビュー] FedCon: A Contrastive Framework for Federated Semi-Supervised Learning

Zewei Long, Jiaqi Wang+3 more|arXiv (Cornell University)|Sep 9, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用数 13

ひとこと要約

この論文は、ラベル付きデータがサーバーにあり、ラベルなしデータがクライアントに分散しているフェデレーテッド半教師あり学習（FedSSL）のための、新しい対照的学習フレームワークであるFedConを提案する。2本のブランチを持つ対照的ネットワークとモーメンタムベースのターゲットネットワーク、および二重損失関数（交差エントロピーと平均二乗誤差）を導入することで、クライアントに分散するラベルなしデータを効果的に活用し、IIDおよびNon-IID設定下でMNIST、CIFAR-10、SVHNにおいて最先端の性能を達成する。

ABSTRACT

Federated Semi-Supervised Learning (FedSSL) has gained rising attention from both academic and industrial researchers, due to its unique characteristics of co-training machine learning models with isolated yet unlabeled data. Most existing FedSSL methods focus on the classical scenario, i.e, the labeled and unlabeled data are stored at the client side. However, in real world applications, client users may not provide labels without any incentive. Thus, the scenario of labels at the server side is more practical. Since unlabeled data and labeled data are decoupled, most existing FedSSL approaches may fail to deal with such a scenario. To overcome this problem, in this paper, we propose FedCon, which introduces a new learning paradigm, i.e., contractive learning, to FedSSL. Experimental results on three datasets show that FedCon achieves the best performance with the contractive framework compared with state-of-the-art baselines under both IID and Non-IID settings. Besides, ablation studies demonstrate the characteristics of the proposed FedCon framework.

研究の動機と目的

• ラベル付きデータがサーバーに集中している一方で、ラベルなしデータがクライアントに分散しているという実用的なフェデレーテッド学習の課題に対処すること。これは、従来のFedSSL手法では十分に扱われていない状況である。
• フェデレーテッド環境下で、従来の半教師あり学習手法がラベル付きとラベルなしデータを分離することによって引き起こされる性能劣化を是正すること。
• 非IIDデータ分布下でも、異種クライアントからのラベルなしデータを効果的に活用しながら、モデルの一般化性能を維持できる汎用的かつ強固なフレームワークを設計すること。
• 現実のデータ分布制約下で、対照的学習と一貫性正則化がフェデレーテッド半教師あり学習設定でどのように機能するかを検証すること。

提案手法

• FedConは、クライアント側でラベルなしデータから不変表現を学習するために、オンラインネットワークとモーメンタム更新されたターゲットネットワークを持つ2本のブランチを持つ対照的ネットワークアーキテクチャを採用する。
• クライアントとサーバー間で共通のバックボーンエンコーダーを用い、クライアント側のモデルは、同じ入力の増強画像ペア（ポジティブペア）が埋め込み空間で近くなるように、平均二乗誤差損失を用いて訓練される。
• サーバー側では、交差エントロピーと一貫性正則化を用いてラベル付きデータに対して対照的損失が適用され、ラベル付き例から強固な表現を学習できる。
• サーバーはクライアントの更新をFedAvgで集約し、各ラウンドで更新されたグローバルモデルをクライアントに再配布することで、クライアントとサーバー間のモデル整合性を維持する。
• ラベル付きデータ（サーバー）とラベルなしデータ（クライアント）のための損失関数と出力ヘッドを分離する二重トップレイヤー設計により、共通のメインエンコーダーを共有しながらも、異なる最適化目的を実現できる。
• トレーニングの安定性を高め、特にデータの非均質性下で重要な長期的な表現情報を保持するために、モーメンタムベースのターゲットネットワーク更新を導入する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータがサーバーに集中し、ラベルなしデータがクライアントに分散している状況で、対照的学習をフェデレーテッド半教師あり学習に効果的に適応できるか。
• RQ2 提案されたFedConフレームワークは、FedSSL設定下でデータの非均質性とNon-IIDデータ分布をどのように処理するか。
• RQ3 サーバー側でのデータ増強設定下で、ラベルなしデータに対する一貫性正則化がモデル性能をどの程度向上させるか。
• RQ4 フェデレーテッド環境下で、二重損失機構（交差エントロピー + MSE）は、標準的な疑似ラベル付けや一貫性ベースのSSLと比較して、どのように異なるか。

主な発見

• FedConは、IIDおよびNon-IIDデータ設定下で、MNIST、CIFAR-10、SVHNにおいて、既存のFedSSLベースラインを上回る最先端の性能を達成する。
• γ=0.01（1%ラベル付きデータ）およびβ=0.05（5%ラベルなしデータ）のMNIST設定下で、一貫性損失を適用したFedConは95.55%のテスト精度を達成したのに対し、それなしでは94.68%にとどまり、一貫性正則化の重要性を示している。
• アブレーションスタディにより、モーメンタムベースのターゲットネットワークと二重損失設計が、データ非均質性下でのモデルのロバスト性と表現品質を顕著に向上させることを確認した。
• このフレームワークは、従来の半教師あり手法がフェデレーテッド環境下で直面する、ラベル付きとラベルなしデータの分離による性能劣化を効果的に緩和する。
• サーバー側でラベルなしデータに一貫性損失を適用することで、明確な性能向上が得られ、クライアント側のラベルなしデータを超える一般化の有効性が裏付けられた。