[論文レビュー] Federated Semi-Supervised Learning with Class Distribution Mismatch

Zhiguo Wang, Xintong Wang+2 more|arXiv (Cornell University)|Oct 29, 2021

Privacy-Preserving Technologies in Data参考文献 46被引用数 9

ひとこと要約

本稿では、クライアント間でラベル付きデータとラベルなしデータのクラス分布の不一致に対処する、新しいフェデレーテッド半教師あり学習（Fed-SSL）アルゴリズムを提案する。2つの正則化項と正規化平均化による分散低減を用いる。非i.i.d.データ下でも収束速度 $ olimitsackslash mathcal extasciitilde extasciitilde O(1/\sqrt{T})$ を達成し、分布の不一致を伴うFed-SSLにおける最初の形式的収束結果である。

ABSTRACT

Many existing federated learning (FL) algorithms are designed for supervised learning tasks, assuming that the local data owned by the clients are well labeled. However, in many practical situations, it could be difficult and expensive to acquire complete data labels. Federated semi-supervised learning (Fed-SSL) is an attractive solution for fully utilizing both labeled and unlabeled data. Similar to that encountered in federated supervised learning, class distribution of labeled/unlabeled data could be non-i.i.d. among clients. Besides, in each client, the class distribution of labeled data may be distinct from that of unlabeled data. Unfortunately, both can severely jeopardize the FL performance. To address such challenging issues, we introduce two proper regularization terms that can effectively alleviate the class distribution mismatch problem in Fed-SSL. In addition, to overcome the non-i.i.d. data, we leverage the variance reduction and normalized averaging techniques to develop a novel Fed-SSL algorithm. Theoretically, we prove that the proposed method has a convergence rate of $\mathcal{O}(1/\sqrt{T})$, where $T$ is the number of communication rounds, even when the data distribution are non-i.i.d. among clients. To the best of our knowledge, it is the first formal convergence result for Fed-SSL problems. Numerical experiments based on MNIST data and CIFAR-10 data show that the proposed method can greatly improve the classification accuracy compared to baselines.

研究の動機と目的

• ラベル付きデータとラベルなしデータのクラス分布がクライアント間で不一致する状況において、フェデレーテッド半教師あり学習（Fed-SSL）における課題に対処すること。特に、ラベルなしデータにラベル付きデータに存在しない新しいクラスが含まれる場合を想定。
• クライアント間で非i.i.d.なデータ分布が存在する状況下でも、モデルの汎化性能とロバスト性を向上させること。
• ラベル付きデータとラベルなしデータの分布がクライアントごとに異なる状況でも、理論的裏付けがあり、収束が保証されるFed-SSLアルゴリズムの開発。
• 非i.i.d.データ下でFedAvgの収束が遅い問題を、分散低減と正規化平均化技術を統合することで克服すること。

提案手法

• 各クライアントにおいて、ラベル付きデータとラベルなしデータのクラス分布の不一致によって引き起こされる性能低下を軽減するための2つの正則化項を導入。
• 非i.i.d.設定下での訓練の安定化と収束の改善を図るため、分散低減と正規化平均化技術を採用。
• クライアントモデルを一貫した疑似ラベル付けと正則化を伴う確率的勾配降下法で更新する二段階最適化フレームワークを採用。
• 局所的およびグローバルなモデル更新のバランスを取るために、適応的ステップサイズを用いたプロキシマルに似た更新戦略を適用。
• リプシッツ連続性、強い凸性、有界勾配に関する仮定を用いて理論的収束バウンドを導出。
• 非i.i.d.データおよび分布の不一致下で $ olimitsackslash mathcal extasciitilde extasciitilde O(1/\sqrt{T})$ の収束速度を確立するための、革新的な分析フレームワークを採用。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータのクラス分布がクライアント間で不一致する状況下でも、Fed-SSLアルゴリズムが収束性と性能を維持できるか？
• RQ2 分散低減と正規化平均化技術は、非i.i.d.データ下でのFed-SSLの収束性をどのように向上させるか？
• RQ3 どの正則化機構が、Fed-SSLにおける関係のないラベルなしデータの負の影響を効果的に低減するか？
• RQ4 分布の不一致と非i.i.d.データ下でも、Fed-SSLに対して理論的収束速度を達成することは可能か？
• RQ5 提案手法は、既存のFed-SSLベースラインと比較して、精度とロバスト性の面でどのように優れているか？

主な発見

• 提案されたFed-SSLアルゴリズムは、$ olimitsackslash mathcal extasciitilde extasciitilde O(1/\sqrt{T})$ の収束速度を達成し、非i.i.d.データおよびクラス分布の不一致下でのFed-SSLにおける最初の形式的収束結果である。
• MNISTおよびCIFAR-10データセットにおいて、既存のベースラインと比較して顕著に分類精度が向上し、特に分布の不一致が顕著な状況下で顕著な改善を示した。
• 2つの正則化項が、ラベル付きデータに存在しない新しいクラスを含むラベルなしデータの負の影響を効果的に抑制した。
• 分散低減と正規化平均化技術により、クライアントデータが非i.i.d.である状況下でも訓練が安定化し、収束が加速した。
• 理論的分析により、リプシッツ連続性、有界勾配、正則化項の強い凸性といった標準的仮定下で収束が保証された。
• 実騴的結果から、ラベルなしデータにラベル付きデータにないクラスが最大30％まで含まれる状況でも、ロバストで優れた性能を示した。