[論文レビュー] Federated Semi-Supervised Learning with Inter-Client Consistency.

Wonyong Jeong, Jaehong Yoon+2 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用数 30

ひとこと要約

この論文では、ラベルが限られているフェデレーテッド設定における課題に取り組むために、ラベル付きデータおよびラベルなしデータのためのパラメータ分解と、クライアント間の一貫性損失を導入する、新しいフェデレーテッド半教師あり学習手法であるFedMatchを提案する。2つの異なるシナリオにおいて、ローカル半教師あり学習およびナイーブなフェデレーテッド半教師ありベースラインを上回る性能を発揮する。

ABSTRACT

While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the client side often comes without any accompanying labels. Such deficiency of labels may result from either high labeling cost, or difficulty of annotation due to requirement of expert knowledge. Thus the private data at each client may be only partly labeled, or completely unlabeled with labeled data being available only at the server, which leads us to a new problem of Federated Semi-Supervised Learning (FSSL). In this work, we study this new problem of semi-supervised learning under federated learning framework, and propose a novel method to tackle it, which we refer to as Federated Matching (FedMatch). FedMatch improves upon naive federated semi-supervised learning approaches with a new inter-client consistency loss and decomposition of the parameters into parameters for labeled and unlabeled data. Through extensive experimental validation of our method in two different scenarios, we show that our method outperforms both local semi-supervised learning and baselines which naively combine federated learning with semi-supervised learning.

研究の動機と目的

• クライアントがラベルをほとんどまたは全く持たない現実的で、ラベルはサーバーでのみ入手可能であるという課題に対処する。
• フェデレーテッド半教師あり学習（FSSL）という新しい問題設定を定式化する：クライアントは部分的または完全にラベルなしデータを保有する。
• ラベルの不足に起因するモデルの一般化性能の向上を図るため、クライアント間の一貫性を活用し、ラベル付きデータおよびラベルなしデータのためのパラメータを分離する手法を開発する。
• フェデレーテッド学習と半教師あり学習の単純な組み合わせ、およびローカル半教師あり学習ベースラインを含む、既存の手法を上回る。

提案手法

• 同じラベルなしサンプルが異なるクライアント間で予測が一致するよう促進する、新しいクライアント間一貫性損失を提案する。
• モデルパラメータをラベル付きデータ用とラベルなしデータ用の2つの別々の部分に分解し、それぞれを別々に最適化可能にすることで、一般化性能の向上を図る。
• ラベル付きデータに対する教師あり損失と、クライアント間のラベルなしデータに対する一貫性正則化を組み合わせてモデルを訓練する。
• サーバーがラベル付きデータにアクセスできることを活用し、知識蒸留や共有の指導信号を通じてクライアントモデルをガイドする。
• 予測の一致を高めるために、類似する特徴空間での予測を整列させる、コントラスト学習に類似したメカニズムを用いる。
• フェデレーテッド平均フレームワークにクライアント間一貫性損失を統合し、通信効率とモデル収束性を維持する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド学習を、クライアントが最小限のラベルしか持たない半教師あり設定に効果的に拡張する方法は何か？
• RQ2 ラベルがクライアント全体で不足している状況において、クライアント間の一貫性がモデル性能に果たす役割は何か？
• RQ3 ラベル付きデータおよびラベルなしデータのためのパラメータ分解は、フェデレーテッド半教師あり学習における一般化性能を向上させるか？
• RQ4 精度と耐性の観点から、FedMatchはローカル半教師あり学習およびナイーブなフェデレーテッド半教師ありベースラインと比較してどのように差をつけるか？

主な発見

• FedMatchは、完全にラベルなしのクライアントと部分的にラベル付きのクライアントの両方のシナリオにおいて、ローカル半教師あり学習手法を上回る優れた性能を達成する。
• クライアント間で共有されるラベルなしデータに対する予測の分散を低減することで、クライアント間一貫性損失がモデルの一般化性能を顕著に向上させる。
• ラベル付きデータおよびラベルなしデータのためのパラメータ分解は、ラベルの入手が少ない状況でも、より安定的かつ正確な学習を可能にする。
• フェデレーテッド学習と半教師あり学習手法を単純に組み合わせたナイーブベースラインを、FedMatchは上回る。
• 2つの異なる実験的シナリオにおいて一貫した性能向上を示しており、本手法の耐性および一般化能力を裏付けている。
• サーバーが提供するラベルとクライアント側のラベルなしデータを併用することで、データの機微性を損なわず、効果的な知識移転が可能になる。