[论文解读] Hierarchical Federated Learning with Privacy

Varun Chandrasekaran, Suman Banerjee+2 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出分层联邦学习差分隐私（HDP），其中客户端按区域组织，由中间超节点聚合后传递至中心聚合器。通过在超节点层级添加校准噪声，HDP 实现了优于本地或中心差分隐私的隐私-效用权衡，在保持中心差分隐私模型准确率的同时，相比本地差分隐私提供了更强的对抗推理攻击的鲁棒性。

ABSTRACT

Federated learning (FL), where data remains at the federated clients, and where only gradient updates are shared with a central aggregator, was assumed to be private. Recent work demonstrates that adversaries with gradient-level access can mount successful inference and reconstruction attacks. In such settings, differentially private (DP) learning is known to provide resilience. However, approaches used in the status quo (\ie central and local DP) introduce disparate utility vs. privacy trade-offs. In this work, we take the first step towards mitigating such trade-offs through {\em hierarchical FL (HFL)}. We demonstrate that by the introduction of a new intermediary level where calibrated DP noise can be added, better privacy vs. utility trade-offs can be obtained; we term this {\em hierarchical DP (HDP)}. Our experiments with 3 different datasets (commonly used as benchmarks for FL) suggest that HDP produces models as accurate as those obtained using central DP, where noise is added at a central aggregator. Such an approach also provides comparable benefit against inference adversaries as in the local DP case, where noise is added at the federated clients.

研究动机与目标

• 为解决联邦学习（FL）在差分隐私（DP）下的固有隐私-效用权衡问题，特别是当中心或本地DP机制导致模型效用欠佳时。
• 探究引入分层结构（即客户端被分组为区域，由超节点聚合）是否能在保持正式DP保证的前提下改善隐私-效用权衡。
• 形式化一种新机制——分层差分隐私（HDP），在超节点层级注入噪声，以实现相比现有联邦学习DP方法的更强隐私保护和更高模型效用。
• 通过在不同信任级别（如超节点或中心聚合器）的对手下评估HDP对重建攻击和推理攻击的鲁棒性。
• 分析系统参数（如客户端采样率k和区域结构）对HDP中隐私和模型效用的影响。

提出的方法

• 提出一种分层联邦学习架构，其中客户端被分组为区域，每个区域由一个超节点管理，负责聚合客户端梯度后再转发至中心聚合器。
• 引入分层差分隐私（HDP），在超节点层级添加校准的高斯噪声，以确保区域层级的DP保证。
• 利用高斯机制的可组合性实现隐私放大：在超节点层级添加噪声后，由于已噪声化的梯度被聚合，中心聚合器的有效隐私损失降低。
• 在超节点层级采用安全聚合机制，防止单个客户端梯度被暴露，从而减少重建攻击者的攻击面。
• 将标准DP预算追踪方法适配至分层设置，实现在多级聚合过程中对正式隐私预算（ε）的追踪。
• 采用最先进的超节点选举与安全聚合实现，以确保方案的实用性及低运行时开销。

实验结果

研究问题

• RQ1 在联邦学习中引入中间超节点层级是否能相比中心或本地DP改善隐私-效用权衡？
• RQ2 在模型准确率和对推理与重建攻击的防御能力方面，分层DP（HDP）与本地DP和中心DP相比如何？
• RQ3 区域结构和客户端采样率（k）对HDP最终模型的隐私与效用有何影响？
• RQ4 是否可通过分层聚合过程实现隐私放大，特别是通过高斯机制的可组合性？
• RQ5 不同威胁模型（如超节点或中心聚合器层级的对手）如何影响HDP中的信息泄露？HDP能否有效防御这些威胁？

主要发现

• HDP实现了与中心差分隐私（CDP）相当的模型准确率，其中噪声在中心聚合器处添加，同时相比本地差分隐私（LDP）提供了更强的隐私保证。
• HDP在对抗推理攻击方面的防御能力与本地DP相当，但模型效用显著更优，因此在可行时是更优的替代方案。
• 分层结构实现了隐私放大：当区域数（s）小于客户端总数（k）时，中心聚合器仅接收聚合后的噪声梯度，从而降低有效隐私损失。
• 在CIFAR-10、CIFAR-100和EMNIST数据集上的实验表明，增加在线客户端数（k）对模型准确率影响极小，表明对客户端采样波动具有鲁棒性。
• HDP能有效抵御来自超节点层级的重建攻击，即使恶意客户端被选为超节点，也因安全聚合与噪声注入而难以泄露信息。
• 该方案在多种威胁模型下保持鲁棒，包括旨在重建数据的被动对手，且在超节点随机选举并定期轮换时，信息泄露显著减少。