[論文レビュー] Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models

Zhengming Zhang, Yaoqing Yang+4 more|arXiv (Cornell University)|Aug 26, 2020

Privacy-Preserving Technologies in Data参考文献 62被引用数 16

ひとこと要約

本稿は、グループ正規化（GN）とグループ化に基づくモデル平均化手法を用いて勾配多様性を低減することで、半教師付きフェデレーテッドラーニング（SSFL）のための新規なアプローチを提案する。従来のSSFL手法と比較して、最高で18.10%高いテスト精度を達成し、通信頻度が低く、データの非IID性が高い状況下でも、複数の教師ありFLアルゴリズムを上回る性能を示す。

ABSTRACT

Federated learning (FL) is a promising way to use the computing power of mobile devices while maintaining the privacy of users. Current work in FL, however, makes the unrealistic assumption that the users have ground-truth labels on their devices, while also assuming that the server has neither data nor labels. In this work, we consider the more realistic scenario where the users have only unlabeled data, while the server has some labeled data, and where the amount of labeled data is smaller than the amount of unlabeled data. We call this learning problem semi-supervised federated learning (SSFL). For SSFL, we demonstrate that a critical issue that affects the test accuracy is the large gradient diversity of the models from different users. Based on this, we investigate several design choices. First, we find that the so-called consistency regularization loss (CRL), which is widely used in semi-supervised learning, performs reasonably well but has large gradient diversity. Second, we find that Batch Normalization (BN) increases gradient diversity. Replacing BN with the recently-proposed Group Normalization (GN) can reduce gradient diversity and improve test accuracy. Third, we show that CRL combined with GN still has a large gradient diversity when the number of users is large. Based on these results, we propose a novel grouping-based model averaging method to replace the FedAvg averaging method. Overall, our grouping-based averaging, combined with GN and CRL, achieves better test accuracy than not just a contemporary paper on SSFL in the same settings (>10\%), but also four supervised FL algorithms.

研究の動機と目的

• ユーザーがラベルなしデータのみを保有するが、サーバーが少量のラベル付きデータを保有するという現実的な状況を想定した半教師付きフェデレーテッドラーニング（SSFL）を扱う。
• 一貫性正則化と正規化層の文脈において、勾配多様性がモデル性能に与える影響を調査する。
• ユーザー数が多い状況でも勾配多様性を低減し、テスト精度を向上させるために、新規なグループ化に基づくモデル平均化手法を提案する。
• 現在のSSFL手法および確立された教師ありFLアルゴリズムを上回る、強力なSSFLのベースラインを確立する。

提案手法

• SSFL設定において勾配多様性を増加させることが判明したバッチ正規化（BN）の代わりに、グループ正規化（GN）を採用して勾配多様性を低減する。
• 未ラベルデータを活用するため、一貫性正則化損失（CRL）を適用するが、CRL単体でも依然として高い勾配多様性を示すことが判明した。
• FedAvgに代わるグループ化に基づくモデル平均化手法を導入し、モデル更新が類似するユーザーをクラスタリングしてから集約することで、勾配多様性を低減する。
• GNとグループ化に基づく平均化をCRLと組み合わせ、SSFLにおける一般化性能とテスト精度の向上を図る統合的なトレーニングパイプラインを構築する。
• 複数のデータセットおよびデータの非IID性や通信頻度といった環境要因を変化させた状況で、手法の有効性を評価する。
• サーバーとラベル保有機関を1つの実体として仮定する仮想共同配置の仮定を用い、一般性を失わずに数学的定式化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ユーザーがラベルなしデータのみを保有し、サーバーが限定的なラベル付きデータを保有する状況下で、勾配多様性は半教師付きフェデレーテッドラーニング（SSFL）におけるモデル性能にどのように影響を与えるか？
• RQ2 バッチ正規化（BN）はSSFLにおいて勾配多様性を悪化させる要因となり、グループ正規化（GN）がこの問題を緩和できるか？
• RQ3 一貫性正則化損失（CRL）はSSFLにおいて効果的に性能を向上させられるか？また、その利点にもかかわらず、依然として高い勾配多様性を示すか？
• RQ4 ユーザー数が多い状況下で、提案されたグループ化に基づくモデル平均化手法は、FedAvgと比較して勾配多様性をどの程度低減できるか？
• RQ5 GN、CRL、およびグループ化に基づく平均化の組み合わせは、最先端のSSFL手法および確立された教師ありFLアルゴリズムを上回るテスト精度を達成できるか？

主な発見

• バッチ正規化（BN）の代わりにグループ正規化（GN）を用いることで、SSFL設定において勾配多様性が顕著に低減され、テスト精度が向上することが明らかになった。
• 一貫性正則化損失（CRL）は妥当なテスト精度を達成するが、依然として高い勾配多様性を示し、SSFLにおける有効性が制限される。
• GNとCRLを適用しても、ユーザー数が多い場合には依然として勾配多様性が高くなることが判明し、新たな集約戦略の導入が不可欠であることが示された。
• 提案されたグループ化に基づくモデル平均化手法により、勾配多様性がさらに低減され、同条件での最新のSSFL手法と比較して、テスト精度が14.79%〜18.10%向上した。
• 通信頻度が低く、データの非IID性が高い状況下でも、本手法はFedAvgおよびEASGDを含む4つの教師ありFLアルゴリズムを、それぞれ14.44%および0.80%の精度向上で上回った。
• 本手法は、教師ありFLのベースラインと同等またはそれ以上の精度を達成し、現実のフェデレーテッドラーニング環境におけるロバストネスと一般化能力の高さを示した。