[論文レビュー] Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning

Wonyong Jeong, Jaehong Yoon+2 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、Federated Semi-Supervised Learning (FSSL) のための新規フレームワークである Federated Matching (FedMatch) を提案する。FedMatch は、クライアントにラベルがある状況（labels-at-client）と、サーバーにのみラベルがある状況（labels-at-server）という2つの現実的状況に対応する。FedMatch は、新たな一貫性損失を用いてクライアント間の一貫性を強制し、パラメータ分解を用いて教師あり学習と教師なし学習を分離することで、干渉を低減し、通信コストも削減する。本手法は、複数のベンチマークにおいて非 i.i.d. および i.i.d. データの両方で、ローカル SSL や単純な FL+SSL 結合よりも顕著に優れた性能を発揮する。

ABSTRACT

While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the client-side often comes without any accompanying labels. Such deficiency of labels may result from either high labeling cost, or difficulty of annotation due to the requirement of expert knowledge. Thus the private data at each client may be either partly labeled, or completely unlabeled with labeled data being available only at the server, which leads us to a new practical federated learning problem, namely Federated Semi-Supervised Learning (FSSL). In this work, we study two essential scenarios of FSSL based on the location of the labeled data. The first scenario considers a conventional case where clients have both labeled and unlabeled data (labels-at-client), and the second scenario considers a more challenging case, where the labeled data is only available at the server (labels-at-server). We then propose a novel method to tackle the problems, which we refer to as Federated Matching (FedMatch). FedMatch improves upon naive combinations of federated learning and semi-supervised learning approaches with a new inter-client consistency loss and decomposition of the parameters for disjoint learning on labeled and unlabeled data. Through extensive experimental validation of our method in the two different scenarios, we show that our method outperforms both local semi-supervised learning and baselines which naively combine federated learning with semi-supervised learning. The code is available at https://github.com/wyjeong/FedMatch.

研究の動機と目的

• フェデレーテッドラーニングにおけるラベルの不足または欠如という実用的課題に対処する。特に、クライアントが部分的にラベル付きまたは完全にラベルなしのデータしか持たない状況を想定する。
• labels-at-client および labels-at-server という2つの現実的な状況を処理できる統一された Federated Semi-Supervised Learning (FSSL) フレームワークを提案する。
• モデルパラメータを密度型（ラベル付き）およびスパース型（ラベルなし）のコンponentに分解することで、教師あり学習と教師なし学習の干渉を低減する。
• パラメータの差分のみを送信することで、全モデル重みの送信を避けることにより、通信コストを最小限に抑える。
• クライアント間の予測が一致するように促進するための、クライアント間一貫性損失を用いて、一般化性能を向上させる。

提案手法

• 異なるクライアント間のモデル予測の一致を最大化する、クライアント間一貫性損失を導入。これにより、フェデレーテッドネットワーク全体で知識蒸留が促進される。
• モデル重みを2つの部分に分割するパラメータ分解戦略を採用：ラベル付きデータ向けの密度型コンponentと、ラベルなしデータ向けのスパース加法型コンponent。
• スパース加法型パラメータ更新を用いることで、教師あり学習と教師なし学習を分離し、深刻な忘却や干渉を低減する。
• 全モデル重みではなく、グローバルモデルとローカルモデルのパラメータ差分のみを送信することで、通信コストを削減する。
• ローカル学習では、標準的な半教師あり学習技術（例：疑似ラベル付け、データオーグメンテーション）を、分離されたパラメータを用いて独立した学習として適用する。
• サーバーでは、FedAvg と同様の平均化手法でローカルモデルを集約するが、クライアント間で一貫性正則化を強制する。

実験結果

リサーチクエスチョン

• RQ1 ラベルがサーバーにのみ存在する状況において、フェデレーテッドラーニングフレームワークが、ラベル付きおよびラベルなしデータを効果的に活用できるか。
• RQ2 生データやラベルを共有せずに、分散型環境においてクライアント間の一貫性をどのように強制できるか。
• RQ3 パラメータ分解により、フェデレーテッド半教師あり学習における教師あり学習と教師なし学習の干渉を低減できるか。
• RQ4 FedMatch は、非 i.i.d. および i.i.d. データ設定の両方で、単純な FL と SSL の組み合わせを上回る性能を発揮するか。
• RQ5 半教師ありフェデレーテッド環境において、パラメータ差分の送信により通信効率を向上させられるか。

主な発見

• FedMatch は、labels-at-client および labels-at-server の両状況において、ローカル半教師あり学習や単純な FL と SSL の組み合わせを顕著に上回る性能を発揮する。
• CIFAR-10 においてラベル付きデータが 20% の場合、labels-at-client 状況で 92.1% のテスト精度を達成し、ベースラインの FedProx-UDA/FixMatch を上回る。
• より挑戦的な labels-at-server 状況では、20% のラベル付きデータで 89.3% の精度を達成し、クライアントにラベルが一切ない状況でも有効性を示している。
• ラベル付きデータの増加に伴い性能が一貫して向上するが、ベースラインモデル（例：FedProx-UDA/FixMatch）は、ラベル数を 5 から 10 に増やした際に性能が低下する傾向を示している。
• パラメータ差分の送信のみで通信コストを削減し、全モデル転送なしに効率的なモデル更新が可能である。
• クライアント間一貫性損失により、クライアント間の予測がより一貫性を持ち、非 i.i.d. データ設定でも一般化性能が向上する。