[论文解读] Does Learning from Decentralized Non-IID Unlabeled Data Benefit from Self Supervision?

Lirui Wang, Kaiqing Zhang+3 more|arXiv (Cornell University)|Oct 20, 2022

COVID-19 diagnosis using AI被引用 6

一句话总结

本文研究了自监督学习（SSL）在非独立同分布（non-IID）无标签数据下的去中心化学习中是否具有优势，表明去中心化自监督学习（Dec-SSL）对数据异质性具有鲁棒性，并在使用 FedAvg 和最少通信量的情况下，实现了与集中式 SSL 相当的性能——通常优于去中心化监督学习。该方法利用对比学习，在去中心化、无标签且异质的数据源之间学习可迁移的表征。

ABSTRACT

Decentralized learning has been advocated and widely deployed to make efficient use of distributed datasets, with an extensive focus on supervised learning (SL) problems. Unfortunately, the majority of real-world data are unlabeled and can be highly heterogeneous across sources. In this work, we carefully study decentralized learning with unlabeled data through the lens of self-supervised learning (SSL), specifically contrastive visual representation learning. We study the effectiveness of a range of contrastive learning algorithms under decentralized learning settings, on relatively large-scale datasets including ImageNet-100, MS-COCO, and a new real-world robotic warehouse dataset. Our experiments show that the decentralized SSL (Dec-SSL) approach is robust to the heterogeneity of decentralized datasets, and learns useful representation for object classification, detection, and segmentation tasks. This robustness makes it possible to significantly reduce communication and reduce the participation ratio of data sources with only minimal drops in performance. Interestingly, using the same amount of data, the representation learned by Dec-SSL can not only perform on par with that learned by centralized SSL which requires communication and excessive data storage costs, but also sometimes outperform representations extracted from decentralized SL which requires extra knowledge about the data labels. Finally, we provide theoretical insights into understanding why data heterogeneity is less of a concern for Dec-SSL objectives, and introduce feature alignment and clustering techniques to develop a new Dec-SSL algorithm that further improves the performance, in the face of highly non-IID data. Our study presents positive evidence to embrace unlabeled data in decentralized learning, and we hope to provide new insights into whether and why decentralized SSL is effective.

研究动机与目标

• 研究自监督学习（SSL）在无标签且非独立同分布（non-IID）数据下的去中心化学习中是否具有优势。
• 评估 Dec-SSL 在去中心化数据源之间数据异质性下的鲁棒性。
• 在真实的大规模场景下，比较 Dec-SSL 与集中式 SSL 及去中心化监督学习（SL）的性能。
• 理解为何在 Dec-SSL 中数据异质性对性能的影响小于在去中心化 SL 中的影响。
• 通过特征对齐和聚类技术，开发改进的 Dec-SSL 算法，以在极端非独立同分布条件下进一步提升性能。

提出的方法

• 在去中心化设置中，以对比视觉表征学习作为核心 SSL 目标。
• 使用联邦平均（FedAvg）作为标准的去中心化训练算法，以聚合本地模型。
• 引入特征对齐和聚类技术，以在高数据异质性条件下提升表征质量。
• 通过理论分析表明，Dec-SSL 中的边界和范数约束对数据分布偏移的敏感性较低。
• 在 ImageNet-100、MS-COCO 和一个真实世界的机器人仓库数据集上验证该方法，数据集包含多样化且无标签的数据。
• 采用归一化解法，以边界化所学表征的边界和范数，确保在非独立同分布数据下仍具泛化能力。

实验结果

研究问题

• RQ1 当数据为无标签且非独立同分布时，自监督学习是否能提升去中心化学习的性能？
• RQ2 在相同的通信和数据约束下，Dec-SSL 的性能与集中式 SSL 及去中心化监督学习相比如何？
• RQ3 为何在 Dec-SSL 中，数据异质性对性能的影响小于在去中心化 SL 中的影响？
• RQ4 在高度非独立同分布的设置下，特征对齐和聚类技术是否能进一步提升 Dec-SSL 的性能？
• RQ5 哪些理论特性解释了 Dec-SSL 对数据分布偏移的鲁棒性？

主要发现

• 即使通信量和数据存储成本显著降低，Dec-SSL 的性能仍与集中式 SSL 相当。
• 在使用相同数据量时，Dec-SSL 的性能优于去中心化监督学习，尤其是在标签不可用或获取成本高昂的情况下。
• 该方法对高数据异质性具有鲁棒性，即使仅少数数据源参与，性能下降也微乎其微。
• 理论分析表明，所学表征的边界和范数在非独立同分布数据下保持稳定，解释了 Dec-SSL 的鲁棒性。
• 特征对齐和聚类技术在高度非独立同分布的数据上进一步提升了性能，验证了其在真实场景中的有效性。
• 在 ImageNet-100 和 MS-COCO 上，Dec-SSL 在下游任务（如分类、检测和分割）中表现出良好的泛化能力。