[论文解读] Federated Self-supervised Learning for Heterogeneous Clients

Disha Makhija, Nhat Ho+1 more|arXiv (Cornell University)|May 25, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

该论文提出Hetero-SSFL，一种新颖的联邦自监督学习框架，使计算和数据资源各异的异构客户端能够在无标签数据的情况下协同学习表征。通过使用近端项和基于核的距离度量对低维嵌入进行对齐，该方法在独立同分布（IID）和非独立同分布（non-IID）设置下均实现了最先进性能，并为非凸目标提供了收敛保证。

ABSTRACT

Federated Learning has become an important learning paradigm due to its privacy and computational benefits. As the field advances, two key challenges that still remain to be addressed are: (1) system heterogeneity - variability in the compute and/or data resources present on each client, and (2) lack of labeled data in certain federated settings. Several recent developments have tried to overcome these challenges independently. In this work, we propose a unified and systematic framework, \emph{Heterogeneous Self-supervised Federated Learning} (Hetero-SSFL) for enabling self-supervised learning with federation on heterogeneous clients. The proposed framework allows collaborative representation learning across all the clients without imposing architectural constraints or requiring presence of labeled data. The key idea in Hetero-SSFL is to let each client train its unique self-supervised model and enable the joint learning across clients by aligning the lower dimensional representations on a common dataset. The entire training procedure could be viewed as self and peer-supervised as both the local training and the alignment procedures do not require presence of any labeled data. As in conventional self-supervised learning, the obtained client models are task independent and can be used for varied end-tasks. We provide a convergence guarantee of the proposed framework for non-convex objectives in heterogeneous settings and also empirically demonstrate that our proposed approach outperforms the state of the art methods by a significant margin.

研究动机与目标

• 解决联邦学习中系统异构性和缺乏标签数据的双重挑战。
• 实现具有不同模型架构和数据资源的客户端之间的协同表征学习。
• 开发一种与架构无关的框架，且任意客户端均无需依赖标签数据。
• 为异构联邦设置中非凸目标提供理论收敛保证。
• 在多样化的现实世界场景中，展示优于最先进方法的性能。

提出的方法

• 每个客户端在其本地数据上训练一个独特的自监督模型，使用对比学习目标。
• 在每个客户端的损失中添加一个近端项，以对齐客户端之间的低维嵌入。
• 服务器维护一个参考锚点数据集（RAD），以促进跨客户端的嵌入对齐。
• 使用基于核的距离度量来计算嵌入之间的接近度，从而在表征空间中实现灵活性。
• 该框架完全以无监督方式运行，任何阶段均不依赖标签数据。
• 客户端通过本地训练和服务器提供的RAD进行全局对齐，迭代更新其模型。

实验结果

研究问题

• RQ1 在数据和计算资源高度异构的客户端设置下，联邦自监督学习能否被有效应用？
• RQ2 在无标签数据的情况下，具有不同模型架构的客户端如何协同学习有用的表征？
• RQ3 何种机制能够实现在模型容量和数据分布各不相同的客户端之间有效知识迁移？
• RQ4 统一框架是否能在异构联邦设置中实现对非凸目标的收敛？
• RQ5 在表征质量与对数据异构性的鲁棒性方面，所提出方法相较于最先进基线方法表现如何？

主要发现

• 在非独立同分布（non-IID）设置下，Hetero-SSFL在CIFAR-10上达到90.29%的准确率，显著优于FedEMA（81.2%）和FedU（79.6%）。
• 在CIFAR-100上，Hetero-SSFL在非IID设置下达到67.7%的准确率，超过FedEMA（61.8%）和FedU（58.9%）。
• 在IID设置下，Hetero-SSFL在CIFAR-10上达到88.5%的准确率，优于FedEMA（85.9%）和FedU（81.6%）。
• 在Tiny-ImageNet上，Hetero-SSFL达到61.5%的准确率，优于FedEMA（58.2%）和FedU（58.23%）。
• 与基于FedAvg的基线方法相比，该方法在增加本地训练轮次时仍保持稳定性能。
• 协同学习显著提升了所有客户端架构的准确率，其中ResNet-34客户端的准确率从本地训练的77.8%提升至Hetero-SSFL的93.7%。