[論文レビュー] FedSemi: An Adaptive Federated Semi-Supervised Learning Framework.

Zewei Long, Liwei Che+6 more|arXiv (Cornell University)|Dec 6, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 14

ひとこと要約

FedSemiは、教師-生徒モデルによる一貫性正則化を統合することで、FLにおける未ラベルデータを活用する適応的フェデレーテッド半教師あり学習フレームワークを提案する。レイヤー単位の乖離度を導入することで、どのモデルパラメータをアップロードするかを動的に選択し、SOTAベースラインと比較してIIDおよびNon-IID設定の両方で性能が向上する。

ABSTRACT

Federated learning (FL) has emerged as an effective technique to co-training machine learning models without actually sharing data and leaking privacy. However, most existing FL methods focus on the supervised setting and ignore the utilization of unlabeled data. Although there are a few existing studies trying to incorporate unlabeled data into FL, they all fail to maintain performance guarantees or generalization ability in various settings. In this paper, we tackle the federated semi-supervised learning problem from the insight of data regularization and analyze the new-raised difficulties. We propose FedSemi, a novel, adaptive, and general framework, which firstly introduces the consistency regularization into FL using a teacher-student model. We further propose a new metric to measure the divergence of local model layers. Based on the divergence, FedSemi can automatically select layer-level parameters to be uploaded to the server in an adaptive manner. Through extensive experimental validation of our method in four datasets, we show that our method achieves performance gain under the IID setting and three Non-IID settings compared to state-of-the-art baselines.

研究の動機と目的

• ラベルなしデータを効果的に活用できないフェデレーテッドラーニングフレームワークのギャップを埋める。
• 多様なデータ分布設定において一般化能力に欠ける既存の半教師ありFL手法の限界を克服する。
• ローカルモデルの乖離に基づき、どのモデルレイヤーをアップロードするかを適応的に選択するメカニズムを開発する。
• 現実のフェデレーテッドラーニングで一般的に見られる独立同一分布（IID）および非IIDデータ設定において、強固な性能を発揮することを保証する。
• モデル一般化を向上させるが、手動チューニングを必要としない、新しいレイヤー単位の乖離度を導入する。

提案手法

• 教師-生徒ディスティルレーションフレームワークをフェデレーテッドラーニングに採用し、生徒モデルはラベル付きデータで学習され、教師モデルは未ラベルデータの疑似ラベルを提供する。
• 同一入力のオリジナルと増幅されたビューに対する生徒モデル出力の一貫性を強制することで、一貫性正則化を適用する。
• ローカルの生徒モデルと教師モデルの対応するレイヤー間の差を定量化するための新しい乖離度を導入する。
• レイヤー単位の乖離度を用いて、サーバーにアップロードするレイヤーを動的に選択し、乖離度が高いレイヤーを優先することで、知識伝達を向上させる。
• 乖離度が高いクライアントからの寄与を強調する重み付き集約戦略を用いてグローバルモデルを訓練し、多様性と耐性を促進する。
• 標準的なFLトレーニングパイプラインに適応的アップロードメカニズムを統合し、既存のフェデレーテッド最適化アルゴリズムとのシームレスな統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一貫性正則化をフェデレーテッド半教師あり学習に効果的に統合することで、モデル一般化をどのように向上させられるか？
• RQ2 フェデレーテッド環境において、どのモデルレイヤーをアップロードするかを指針づける信頼性があり適応的なメトリックは何か？
• RQ3 適応的レイヤー選択メカニズムは、IIDおよびNon-IIDデータ分布設定の両方で性能向上を達成できるか？
• RQ4 データスケイの変化に応じて、FedSemiはSOTAベースラインと比較して、精度と耐性の面でどのように差をつけるか？
• RQ5 提案された乖離度に基づく選択戦略は、通信オーバーヘッドを増加させることなく、モデル一般化を向上させられるか？

主な発見

• FedSemiは、IIDおよび3種類のNon-IIDデータ分布設定下で、4つのベンチマークデータセットにおいてSOTAベースラインと比較して一貫した性能向上を達成する。
• 教師-生徒フレームワークを用いた一貫性正則化の活用により、フェデレーテッド環境における未ラベルデータの有効活用が図られ、モデル精度が顕著に向上する。
• 提案されたレイヤー単位の乖離度は、アップロードに適した情報豊富なモデルレイヤーを効果的に同定し、一般化性能を向上させる適応的通信を可能にする。
• 適応的パラメータ選択メカニズムにより、不要な通信が削減され、高乖離度レイヤーに焦点を当てることで、性能を損なわずトレーニング効率が向上する。
• FedSemiは極端なデータスケイが生じる状況下でも強力な一般化能力を維持し、Non-IIDシナリオにおいて既存手法を上回る性能を発揮する。
• 実験的結果から、FedSemiは特にラベル付きデータが少ない環境下でもベースラインを上回る高いテスト精度を達成しており、半教師ありFLにおける有効性が裏付けられる。