[论文解读] Compression with Exact Error Distribution for Federated Learning

Mahmoud Hegazy, Rémi Leluc+2 more|arXiv (Cornell University)|Oct 31, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种用于联邦学习的新型压缩方案，通过分层量化器和聚合高斯机制，实现了精确的误差分布（如正态分布或拉普拉斯分布）。通过确保精确的噪声分布，该方法在差分隐私中实现了‘压缩免费’，并恢复或改进了标准技术（如朗之万动力学和随机平滑）的性能，实现了最优收敛速率。

ABSTRACT

Compression schemes have been extensively used in Federated Learning (FL) to reduce the communication cost of distributed learning. While most approaches rely on a bounded variance assumption of the noise produced by the compressor, this paper investigates the use of compression and aggregation schemes that produce a specific error distribution, e.g., Gaussian or Laplace, on the aggregated data. We present and analyze different aggregation schemes based on layered quantizers achieving exact error distribution. We provide different methods to leverage the proposed compression schemes to obtain compression-for-free in differential privacy applications. Our general compression methods can recover and improve standard FL schemes with Gaussian perturbations such as Langevin dynamics and randomized smoothing.

研究动机与目标

• 解决标准压缩方案假设方差有界但忽略压缩噪声形状的局限性。
• 设计聚合机制，使最终模型更新产生特定且精确的误差分布（例如正态分布）。
• 通过利用精确误差分布实现差分隐私的隐私保障，从而在差分隐私设置中实现‘压缩免费’。
• 通过基于精确误差分布的随机平滑方法，改进非光滑联邦优化中的收敛速率。
• 通过设计同态压缩方案，确保与安全聚合的兼容性，以应对可信度较低的服务器环境。

提出的方法

• 使用分层量化器（直接和偏移）在个体压缩机制中实现精确的误差分布。
• 提出聚合高斯机制，这是一种新颖的同态压缩方案，确保最终聚合输出具有精确的正态误差分布。
• 将所提出的量化器应用于替代随机平滑中的随机采样，实现对分布式随机平滑（DRS）算法的精确恢复。
• 设计与安全聚合（SecAgg）兼容的压缩方案，使客户端能够发送可同态聚合后解码的压缩消息。
• 利用精确误差分布满足差分隐私约束，无需额外噪声，从而在DP设置中实现‘压缩免费’。
• 分析所提方案的通信成本，表明其在个体压缩与聚合压缩场景下均具高效性。

实验结果

研究问题

• RQ1 我们能否设计出产生特定且精确连续误差分布（如正态或拉普拉斯分布）的压缩方案，而非依赖于有界方差的假设？
• RQ2 在联邦平均与聚合中实现精确误差分布的通信成本与实际效益如何？
• RQ3 精确误差分布压缩如何实现差分隐私应用中的‘压缩免费’？
• RQ4 此类方案能否用于恢复或改进现有方法（如朗之万动力学和随机平滑）在非光滑优化中的性能？
• RQ5 如何使压缩机制具备同态特性，以支持在可信度较低的服务器环境下实现安全聚合？

主要发现

• 所提出的聚合高斯机制确保最终聚合的模型更新具有精确的正态误差分布，从而实现精确的差分隐私保障。
• 该方法通过重用压缩噪声作为隐私保护噪声，无需额外扰动，从而在差分隐私中实现‘压缩免费’。
• 使用具有精确误差分布的分层量化器，可实现对分布式随机平滑（DRS）算法的精确恢复，从而在非光滑目标上实现最优收敛速率。
• 聚合高斯机制具备同态特性，与安全聚合协议（如SecAgg）兼容，因此即使在服务器可信度较低的情况下，也能实现隐私保护聚合。
• 所提方案的通信成本已进行分析，结果表明其效率较高，聚合机制在误差分布控制与带宽使用之间实现了有利的权衡。
• 该框架在理论上对标准联邦学习方案（如使用正态扰动的方案，用于朗之万动力学和随机平滑）进行了泛化与改进，提供了精确的误差控制与更紧密的理论分析。