[論文レビュー] Benchmarking Semi-supervised Federated Learning

Zhang Zheng-ming, Zhewei Yao+4 more|arXiv (Cornell University)|Aug 26, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用数 28

ひとこと要約

本稿では、エッジデバイスがラベルなしデータのみを保有し、中央サーバーが限定的なラベル付きデータを保有する半教師ありフェデレーテッドラーニングフレームワークを提案する。非i.i.d.なクラス分布に対処する。グループ正規化を用いた一貫性損失と、新しいグループ化に基づくモデル平均化手法を導入し、EMNISTにおいて非グループ化ベースラインと比較して最大10.79%の精度向上を達成した。

ABSTRACT

Federated learning promises to use the computational power of edge devices while maintaining user data privacy. Current frameworks, however, typically make the unrealistic assumption that the data stored on user devices come with ground truth labels, while the server has no data. In this work, we consider the more realistic scenario where the users have only unlabeled data and the server has a limited amount of labeled data. In this semi-supervised federated learning (ssfl) setting, the data distribution can be non-iid, in the sense of different distributions of classes at different users. We define a metric, $R$, to measure this non-iidness in class distributions. In this setting, we provide a thorough study on different factors that can affect the final test accuracy, including algorithm design (such as training objective), the non-iidness $R$, the communication period $T$, the number of users $K$, the amount of labeled data in the server $N_s$, and the number of users $C_k\leq K$ that communicate with the server in each communication round. We evaluate our ssfl framework on Cifar-10, SVHN, and EMNIST. Overall, we find that a simple consistency loss-based method, along with group normalization, achieves better generalization performance, even compared to previous supervised federated learning settings. Furthermore, we propose a novel grouping-based model average method to improve convergence efficiency, and we show that this can boost performance by up to 10.79% on EMNIST, compared to the non-grouping based method.

研究の動機と目的

• クライアントがラベルなしデータのみを保有し、サーバーが少量のラベル付きデータを保有する現実的なフェデレーテッドラーニングのシナリオに対処すること。
• 非i.i.d.クラス分布、通信周期、クライアント数といった要因が、半教師ありフェデレーテッドラーニングにおけるモデル性能に与える影響を調査すること。
• 現実のデータおよび通信制約下で、学習目的関数と集約戦略の異なるアルゴリズム設計を評価・比較すること。
• 収束性とテスト精度の向上を目的とした、新しいグループ化に基づくモデル平均化手法の提案と検証すること。

提案手法

• クライアント間のクラス分布の非i.i.d.度を定量化するための指標 $ R $ を導入する。
• ラベルなしクライアントデータを効果的に活用するため、一貫性損失に基づく学習目的関数を採用する。
• 半教師あり設定における一般化性能の向上のため、グループ正規化を適用する。
• 全クライアントではなく、選択されたクライアントグループからのモデルを集約する、グループ化に基づくモデル平均化戦略を提案する。
• Cifar-10、SVHN、EMNISTのデータセットを用いて、データの非i.i.d.度とラベルの希少性の異なる状況下でフレームワークを評価する。
• 通信周期 $ T $、クライアント数 $ K $、通信クライアント数 $ C_k \leq K $ を、設定可能なシステムパrameterとして採用する。

実験結果

リサーチクエスチョン

• RQ1 クラス分布の非i.i.d.度（$ R $）のレベルが、半教師ありフェデレーテッドラーニングにおけるモデル精度にどのように影響するか？
• RQ2 通信周期 $ T $、クライアント数 $ K $、通信クライアント数 $ C_k $ が、モデルの収束性と性能に与える影響は何か？
• RQ3 提案されたグループ化に基づくモデル平均化手法は、標準的な平均化手法と比較して、精度と収束効率においてどのように異なるか？
• RQ4 グループ正規化を用いた一貫性損失は、この半教師あり設定において、従来の教師ありフェデレーテッドラーニング手法を上回る性能を発揮できるか？

主な発見

• グループ正規化を用いた単純な一貫性損失ベースの手法が、半教師あり条件下でも、従来の教師ありフェデレーテッドラーニング手法よりも優れた一般化性能を達成した。
• 提案されたグループ化に基づくモデル平均化手法により、EMNISTデータセットにおいて非グループ化ベースラインと比較して、テスト精度が最大10.79%向上した。
• クラス分布の非i.i.d.度、$ R $ はモデル性能に顕著な影響を及ぼし、$ R $ が高くなるほど精度が低下傾向にある。
• 通信クライアント数 $ C_k $ と通信周期 $ T $ は、収束速度と最終的なモデル精度に測定可能な影響を及ぼす。
• サーバーに存在するラベル付きデータ量（$ N_s $）は、極めて重要な役割を果たし、$ N_s $ が増加するにつれて性能が向上するが、閾値を超えると増益は鈍化する。