[论文解读] FedSKETCH: Communication-Efficient and Private Federated Learning via Sketching

Farzin Haddadpour, Belhal Karimi+2 more|arXiv (Cornell University)|Aug 11, 2020

Privacy-Preserving Technologies in Data参考文献 57被引用 11

一句话总结

FedSKETCH 和 FedSKETCHGATE 是通信高效且隐私保护的联邦学习算法，利用计数哈希（count sketch）压缩本地梯度，实现在不暴露原始梯度的前提下安全、低带宽地聚合模型。这些方法在高达 75 倍压缩率下实现了与 FedSGD 相当的收敛速度，在同质与异质数据设置下均优于以往的哈希压缩与量化方法。

ABSTRACT

Communication complexity and privacy are the two key challenges in Federated Learning where the goal is to perform a distributed learning through a large volume of devices. In this work, we introduce FedSKETCH and FedSKETCHGATE algorithms to address both challenges in Federated learning jointly, where these algorithms are intended to be used for homogeneous and heterogeneous data distribution settings respectively. The key idea is to compress the accumulation of local gradients using count sketch, therefore, the server does not have access to the gradients themselves which provides privacy. Furthermore, due to the lower dimension of sketching used, our method exhibits communication-efficiency property as well. We provide, for the aforementioned schemes, sharp convergence guarantees. Finally, we back up our theory with various set of experiments.

研究动机与目标

• 解决联邦学习中通信开销与设备隐私保护的双重挑战。
• 构建一个统一框架，同时保障通信效率与隐私保护。
• 在独立同分布（i.i.d.）与非独立同分布（non-i.i.d.）数据分布下，为非凸、Polyak-Łojasiewicz（PL）及凸目标函数提供理论收敛保证。
• 在高斯压缩率下，测试准确率与收敛速度优于现有基于压缩的方法（如 SketchSGD 和 FedSGD）。
• 设计一种新型基于哈希的梯度估计器（HEAPRIX），其无偏且适用于同质与异质数据设置。

提出的方法

• 在本地梯度上传至服务器前，使用计数哈希将其压缩为低维哈希表示。
• 提出 HEAPRIX，一种基于哈希的新型无偏梯度估计器，可在不暴露原始梯度的前提下实现精确的模型更新。
• 针对同质数据（i.i.d.）设计 FedSKETCH，针对异质数据（non-i.i.d.）设计 FedSKETCHGATE，均采用基于哈希的聚合机制。
• 通过使用随机哈希函数对梯度进行哈希处理，确保原始梯度无法被重构，从而保障隐私。
• 采用非渐近收敛分析，为在两种数据设置下凸、PL 及非凸目标函数建立理论收敛边界。
• 引入多轮本地更新（τ），在保持收敛性能的同时减少通信轮次。

实验结果

研究问题

• RQ1 是否可以利用哈希技术在联邦学习中同时降低通信成本并保护隐私？
• RQ2 基于哈希的梯度压缩在非独立同分布（异质）数据设置下的收敛性能如何？
• RQ3 能否从哈希中构造出无偏梯度估计器，使其收敛性能接近 FedSGD？
• RQ4 在基于哈希的联邦学习中，压缩率与模型准确率之间的权衡关系如何？
• RQ5 多轮本地更新与哈希压缩如何协同作用以提升通信效率？

主要发现

• FedSKETCH 和 FedSKETCHGATE 即使在高达 75 倍压缩率下（对应哈希大小为 (20,40)），测试准确率仍与 FedSGD 相当。
• 在同质与异质数据设置下，HEAPRIX 均优于 FS-PRIVIX 与 SketchSGD，尤其在高斯压缩率下表现更优。
• 当哈希大小为 (50,100) 时，FedSKETCH 在所有设置下均实现了与 FedSGD 相当的测试准确率，即使在 τ=5 的本地更新轮次下亦然。
• 在异质数据设置下，SketchSGD 表现较差，而 FedSKETCHGATE 在高斯压缩率下仍保持强劲性能。
• 使用多轮本地更新的 FedSKETCH 显著减少了收敛所需的通信轮次，与理论预测一致。
• 实验结果表明，FS-HEAPRIX 在小哈希尺寸与高 τ 情况下仍保持稳定收敛，避免了发散，而 FS-PRIVIX 则存在此问题。