[论文解读] Federated Semi-Supervised Learning with Class Distribution Mismatch

Zhiguo Wang, Xintong Wang+2 more|arXiv (Cornell University)|Oct 29, 2021

Privacy-Preserving Technologies in Data参考文献 46被引用 9

一句话总结

该论文提出了一种新颖的联邦半监督学习算法，通过引入两项正则化项并采用归一化平均进行方差减少，解决了客户端之间标注数据与未标注数据在类别分布上的不匹配问题。在非独立同分布（non-i.i.d.）数据设置下，该方法实现了 $\mathcal{O}(1/\sqrt{T})$ 的收敛速率，是首个针对存在分布差异的联邦半监督学习（Fed-SSL）的正式收敛结果。

ABSTRACT

Many existing federated learning (FL) algorithms are designed for supervised learning tasks, assuming that the local data owned by the clients are well labeled. However, in many practical situations, it could be difficult and expensive to acquire complete data labels. Federated semi-supervised learning (Fed-SSL) is an attractive solution for fully utilizing both labeled and unlabeled data. Similar to that encountered in federated supervised learning, class distribution of labeled/unlabeled data could be non-i.i.d. among clients. Besides, in each client, the class distribution of labeled data may be distinct from that of unlabeled data. Unfortunately, both can severely jeopardize the FL performance. To address such challenging issues, we introduce two proper regularization terms that can effectively alleviate the class distribution mismatch problem in Fed-SSL. In addition, to overcome the non-i.i.d. data, we leverage the variance reduction and normalized averaging techniques to develop a novel Fed-SSL algorithm. Theoretically, we prove that the proposed method has a convergence rate of $\mathcal{O}(1/\sqrt{T})$, where $T$ is the number of communication rounds, even when the data distribution are non-i.i.d. among clients. To the best of our knowledge, it is the first formal convergence result for Fed-SSL problems. Numerical experiments based on MNIST data and CIFAR-10 data show that the proposed method can greatly improve the classification accuracy compared to baselines.

研究动机与目标

• 为解决联邦半监督学习（Fed-SSL）中客户端之间标注数据与未标注数据存在类别分布不匹配的问题，特别是未标注数据中可能包含标注数据中未出现的新类别。
• 在客户端之间数据分布非独立同分布（non-i.i.d.）的条件下，提升 Fed-SSL 模型的泛化能力与鲁棒性。
• 设计一种理论基础坚实的 Fed-SSL 算法，即使在不同客户端的标注与未标注数据分布存在差异时，也能保证收敛性。
• 通过整合方差减少与归一化平均技术，克服 FedAvg 在非独立同分布数据下收敛缓慢的问题。

提出的方法

• 引入两项正则化项，以缓解各客户端中未标注数据与标注数据类别分布不匹配所导致的性能下降。
• 采用方差减少与归一化平均技术，提升非独立同分布设置下训练的稳定性并加速收敛。
• 采用双层优化框架，客户端模型通过带一致伪标签与正则化的随机梯度下降进行更新。
• 采用类似邻近（proximal）的更新策略，并结合自适应步长，以平衡本地与全局模型更新。
• 基于利普希茨连续性、强凸性及有界梯度等假设，推导理论收敛边界。
• 提出一种新颖的分析框架，证明在非独立同分布数据与类别分布不匹配条件下，收敛速率为 $\mathcal{O}(1/\sqrt{T})$。

实验结果

研究问题

• RQ1 当客户端之间标注与未标注数据的类别分布不匹配时，Fed-SSL 算法是否仍能保持收敛性与性能？
• RQ2 方差减少与归一化平均技术如何在非独立同分布数据下提升 Fed-SSL 的收敛性能？
• RQ3 哪些正则化机制能有效减轻无关未标注数据在 Fed-SSL 中的负面影响？
• RQ4 能否在类别分布不匹配与非独立同分布数据条件下，为 Fed-SSL 建立理论收敛速率？
• RQ5 所提方法在准确率与鲁棒性方面，与现有 Fed-SSL 基线相比有何实证表现？

主要发现

• 所提 Fed-SSL 算法实现了 $\mathcal{O}(1/\sqrt{T})$ 的收敛速率，是首个在非独立同分布数据与类别分布不匹配条件下获得正式收敛结果的 Fed-SSL 方法。
• 与现有基线相比，该算法在 MNIST 与 CIFAR-10 数据集上的分类准确率显著提升，尤其在高分布不匹配条件下优势明显。
• 两项正则化项能有效抑制未标注数据中包含的标注数据未见新类别所带来的负面影响。
• 方差减少与归一化平均技术显著提升了非独立同分布客户端数据设置下的训练稳定性，并加速收敛。
• 理论分析证实，在标准假设（如利普希茨连续性、有界梯度、正则项强凸性）下，算法具有收敛性。
• 实证结果表明，即使未标注数据中包含高达 30% 的新类别（未在标注数据中出现），该方法仍表现出优异的鲁棒性与性能。