[論文レビュー] Federated Semi-Supervised Learning with Prototypical Networks

Woojung Kim, Keondo Park+3 more|arXiv (Cornell University)|May 27, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、軽量なクラスプロトタイプを用いたクライアント間の知識共有を可能にする、新しいフェデレーテッド半教師あり学習フレームワークであるProtoFSSLを提案する。これにより、通信量と計算コストを最小限に抑えながら、正確な疑似ラベル付けが可能となる。プロトタイプネットワークを用いた一貫性正則化により、ProtoFSSLはSVHNで完全教師ありFLと同等の最先端の精度を達成しており、通信量を2倍削減し、クライアント側の計算量をFedMatchと比較して1.7–3.4倍削減している。

ABSTRACT

With the increasing computing power of edge devices, Federated Learning (FL) emerges to enable model training without privacy concerns. The majority of existing studies assume the data are fully labeled on the client side. In practice, however, the amount of labeled data is often limited. Recently, federated semi-supervised learning (FSSL) is explored as a way to effectively utilize unlabeled data during training. In this work, we propose ProtoFSSL, a novel FSSL approach based on prototypical networks. In ProtoFSSL, clients share knowledge with each other via lightweight prototypes, which prevents the local models from diverging. For computing loss on unlabeled data, each client creates accurate pseudo-labels based on shared prototypes. Jointly with labeled data, the pseudo-labels provide training signals for local prototypes. Compared to a FSSL approach based on weight sharing, the prototype-based inter-client knowledge sharing significantly reduces both communication and computation costs, enabling more frequent knowledge sharing between more clients for better accuracy. In multiple datasets, ProtoFSSL results in higher accuracy compared to the recent FSSL methods with and without knowledge sharing, such as FixMatch, FedRGD, and FedMatch. On SVHN dataset, ProtoFSSL performs comparably to fully supervised FL methods.

研究の動機と目的

• フェデレーテッド学習におけるラベル付きデータの不足に取り組むため、クライアント側のラベルなしデータを効果的に活用すること。
• モデルの精度を維持しつつ、フェデレーテッド半教師あり学習（FSSL）における通信量と計算コストを削減すること。
• フルモデル重みではなく、軽量なプロトタイプを用いることで、FSSLにおけるクライアント間の知識共有が有効であるかを検証すること。
• 非i.i.d.データ環境下でのローカルモデルの分散を緩和する通信効率的で計算コストが低いメカニズムを設計すること。
• プロトタイプベースの知識共有と正規化技術の相乗効果がFSSLにおいてどのように作用するかを評価すること。

提案手法

• ProtoFSSLは、ローカルクライアントデータからクラスレベルの埋め込み（プロトタイプ）を学習するプロトタイプネットワークを用い、これにより知識の転送を可能にする。
• 各クライアントは共有されたプロトタイプを用いて、自身のラベルなしデータの疑似ラベルを計算し、疑似ラベルの品質を向上させるために一貫性正則化を適用する。
• クライアント間の知識共有は、モデル重みと比較して通常13,000倍も小さい軽量なプロトタイプを介して行われるため、FedMatchのような重み共有手法と比較して通信コストを削減できる。
• アクティブなクライアントが他のクライアントとプロトタイプを共有するヘルパー基盤のメカニズムを採用しており、頻繁かつスケーラブルな知識交換を実現する。
• プロトタイプ集約戦略により、一部のクライアントが低品質なプロトタイプを共有しても耐性が保たれ、ノイズの注入によりさらにプライバシーが強化される。
• BN、GN、sBNなどの正規化技術とシームレスに統合可能であり、微分プライバシーおよびマルチパーティ集約とも互換性があるため、セキュリティが強化される。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド半教師あり学習における軽量なプロトタイプ共有は、クライアント側の計算量や通信量を増加させることなく、モデルの分散を効果的に低減できるか？
• RQ2 FedMatchのような重み共有手法と比較して、プロトタイプベースのクライアント間知識共有は、精度、通信、計算コストの観点でどのように差がつくか？
• RQ3 共有されたプロトタイプを用いたクライアント間の一貫性正則化は、非i.i.d.環境およびラベル付きデータが少ない状況下でも、モデルの収束を改善するか？
• RQ4 BN、GN、sBNなどの正規化技術とProtoFSSLの組み合わせは、性能と収束性においてどのように作用するか？
• RQ5 特にデータの非均質性が顕著な環境下でも、モデルの精度を維持しつつ、プロトタイプ共有をプライバシー保護可能にすることができるか？

主な発見

• CIFAR-10、SVHN、STL-10において、最近のFSSL手法と比較して、2.9%～5.7%の高いテスト精度を達成しており、ラベル付きデータが限られた状況下でも有効である。
• SVHNデータセットでは、完全教師ありFLと同等の性能を達成しており、極めて少ないラベルで優れた一般化性能を示している。
• FedMatchと比較して、通信コストを2倍削減し、クライアント側の計算量を1.7–3.4倍削減している。これは、モデル重みではなく軽量なプロトタイプを用いているためである。
• 従来のバッチ正規化（BN）と組み合わせた場合に最も優れた性能を示しており、正規化効果がフレームワーク依存であり、すべてのFLシステムに一般化できるわけではないことが示された。
• ProtoFSSLは正規化技術と強く相乗効果を示し、BN、GN、sBNのすべての手法において収束性が向上しており、特に非i.i.d.環境下で顕著である。
• ResNet17のようなより大きなモデルに対しても効果を示しており、顕著な過学習を示さず、複雑なアーキテクチャへのスケーラビリティも確認された。