[论文解读] L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated Self-Supervised Visual Representation Learning

Yasar Abbas Ur Rehman, Yan Gao+4 more|arXiv (Cornell University)|Jul 14, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

该论文提出 L-DAWA，一种用于联邦自监督视觉表征学习的新型逐层差异感知聚合方法，通过基于每层客户端模型与全局模型之间角度差异来加权模型更新，从而减轻客户端偏差。该方法在使用对比和非对比 SSL 方法的 CIFAR-10/100 与 Tiny ImageNet 数据集上，在跨机柜（cross-silo）和跨设备（cross-device）设置下均取得了新的 SOTA 性能。

ABSTRACT

The ubiquity of camera-enabled devices has led to large amounts of unlabeled image data being produced at the edge. The integration of self-supervised learning (SSL) and federated learning (FL) into one coherent system can potentially offer data privacy guarantees while also advancing the quality and robustness of the learned visual representations without needing to move data around. However, client bias and divergence during FL aggregation caused by data heterogeneity limits the performance of learned visual representations on downstream tasks. In this paper, we propose a new aggregation strategy termed Layer-wise Divergence Aware Weight Aggregation (L-DAWA) to mitigate the influence of client bias and divergence during FL aggregation. The proposed method aggregates weights at the layer-level according to the measure of angular divergence between the clients' model and the global model. Extensive experiments with cross-silo and cross-device settings on CIFAR-10/100 and Tiny ImageNet datasets demonstrate that our methods are effective and obtain new SOTA performance on both contrastive and non-contrastive SSL approaches.

研究动机与目标

• 解决由数据异质性和非独立同分布（non-IID）数据分布引起的联邦自监督学习（F-SSL）中的客户端偏差与模型差异问题。
• 缓解 FedAvg 依赖数据量且缺乏逐层敏感性的特性所导致的全局模型次优性能问题。
• 通过将逐层差异度量整合到模型聚合中，提升下游任务性能。
• 在对比和非对比 SSL 方法下，于跨机柜和跨设备联邦学习（FL）设置中均实现最先进性能。

提出的方法

• L-DAWA 计算每个客户端模型各层与全局模型对应层之间的角度差异，以量化逐层异质性。
• 根据其角度差异，为每个客户端的模型各层分配自适应权重，从而降低差异较大或存在偏差的客户端的影响。
• 该方法执行逐层聚合，其中全局模型的每一层均作为对应客户端各层的加权平均进行更新。
• 加权方案优先考虑角度差异较低的客户端，确保全局模型更新更加稳定且具代表性。
• L-DAWA 兼容现有聚合策略（如 FedAvg、Loss 和 FedU），可作为即插即用的增强模块集成。
• 该方法在多种 SSL 方法（如 SimCLR、Barlow Twins 等）和数据集（CIFAR-10/100、Tiny ImageNet）上，于跨机柜和跨设备联邦学习设置下进行了评估。

实验结果

研究问题

• RQ1 在联邦自监督学习中，逐层角度差异如何影响模型聚合？
• RQ2 通过基于逐层差异对客户端模型更新进行加权，能否有效减少客户端偏差并提升全局模型性能？
• RQ3 L-DAWA 在跨机柜和跨设备联邦学习设置下，是否在不同 SSL 方法中均优于 FedAvg、Loss 和 FedU？
• RQ4 L-DAWA 在不同数据非独立同分布程度及下游迁移学习任务中是否具备良好的泛化能力？

主要发现

• 在跨机柜设置下，CIFAR-10 数据集上，当非独立同分布程度较高（α=0.1）时，L-DAWA 在 SimCLR 方法下相比 FedAvg 提升 9.37%。
• 在跨机柜设置下的 Tiny ImageNet 上，L-DAWA 在跨数据集迁移学习中分别取得 81.87%（CIFAR-10）和 57.81%（CIFAR-100）的准确率，分别优于 FedAvg 4.4% 和 5.7%。
• 在跨设备设置下，L-DAWA 在 Tiny ImageNet 上使用 SimCLR 方法取得 37.72% 的准确率，相比 FedAvg（32.92%）提升 4.8%。
• 将 L-DAWA 与 FedAvg、Loss 和 FedU 集成后，性能持续提升，其中 L-DAWA Loss 在跨设备设置下于 CIFAR-10 上达到 68.79%，CIFAR-100 上达到 61.36%。
• L-DAWA 在不同非独立同分布程度下表现出鲁棒性，最佳性能出现在 α=0.2 时，表明类别分布与标签不平衡会影响非独立同分布特性。