[论文解读] MixNN: Protection of Federated Learning Against Inference Attacks by Mixing Neural Network Layers

Antoine Boutet, Thomas Lebrun+2 more|arXiv (Cornell University)|Sep 26, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用 4

一句话总结

MixNN 是一种基于代理的框架，通过在聚合前对参与方的神经网络层进行混合，增强联邦学习的隐私保护，防止属性推理攻击，同时不损害模型效用。它实现了强大的隐私保护——优于本地差分隐私——同时保持与标准联邦学习相同的模型准确率。

ABSTRACT

Machine Learning (ML) has emerged as a core technology to provide learning models to perform complex tasks. Boosted by Machine Learning as a Service (MLaaS), the number of applications relying on ML capabilities is ever increasing. However, ML models are the source of different privacy violations through passive or active attacks from different entities. In this paper, we present MixNN a proxy-based privacy-preserving system for federated learning to protect the privacy of participants against a curious or malicious aggregation server trying to infer sensitive attributes. MixNN receives the model updates from participants and mixes layers between participants before sending the mixed updates to the aggregation server. This mixing strategy drastically reduces privacy without any trade-off with utility. Indeed, mixing the updates of the model has no impact on the result of the aggregation of the updates computed by the server. We experimentally evaluate MixNN and design a new attribute inference attack, Sim, exploiting the privacy vulnerability of SGD algorithm to quantify privacy leakage in different settings (i.e., the aggregation server can conduct a passive or an active attack). We show that MixNN significantly limits the attribute inference compared to a baseline using noisy gradient (well known to damage the utility) while keeping the same level of utility as classic federated learning.

研究动机与目标

• 解决联邦学习中的隐私泄露问题，即恶意或好奇的聚合服务器可能从模型更新中推断出敏感属性。
• 设计一种隐私保护机制，不降低模型效用，与现有方法（如差分隐私）不同。
• 设计一种新型属性推理攻击 \attackss，用于评估标准联邦学习对这类威胁的脆弱性。
• 提出一种实用、高效且可部署的解决方案，利用可信执行环境（Intel SGX）安全隔离并混合模型更新。

提出的方法

• 引入一个代理服务器，接收客户端的模型更新，并在转发给聚合服务器前，对不同参与方的层进行混合。
• 使用 Intel SGX 飞地确保混合过程的机密性和完整性，防止侧信道攻击和篡改。
• 应用数据无关的混合策略，通过确保一致的执行时间和内存访问模式，防止侧信道泄露。
• 利用模型聚合对层排列具有不变性的特性，因此混合不会影响最终全局模型的性能。
• 设计 \attackss 攻击，一种新型属性推理攻击，利用 SGD 算法中的梯度从模型更新中推断私有属性。
• 在 CIFAR-10 上实现并评估 MixNN，采用两层卷积、三层全连接的模型，每个更新的处理时间为 0.19 秒，飞地内内存使用量为 26.9MB。

实验结果

研究问题

• RQ1 基于代理的层混合机制是否能有效防止联邦学习中的属性推理攻击，同时不降低模型效用？
• RQ2 联邦学习中通过 SGD 算法引发的隐私泄露，如何促成新型属性推理攻击？这些攻击在多大程度上可量化？
• RQ3 与最先进的防御方案（如本地差分隐私）相比，MixNN 在多大程度上降低了属性推理的成功率？
• RQ4 MixNN 在延迟和内存使用方面的性能开销如何？是否适合实际部署？

主要发现

• 与采用本地差分隐私的基线相比，MixNN 显著降低了属性推理攻击的成功率，同时保持了与标准联邦学习相同的模型准确率。
• 所提出的 \attackss 攻击成功利用 SGD 过程中的梯度，从模型更新中推断出私有属性，揭示了标准联邦学习中的关键隐私漏洞。
• MixNN 的混合操作仅引入了可忽略的 0.03 秒平均开销，每个更新的总处理时间为 0.19 秒（包括解密和存储），因此适合实际部署。
• 系统通过 Intel SGX 实现了强大的隐私保证，数据无关执行防止了侧信道泄露，且混合过程与模型结构无关，确保了广泛的兼容性。
• 由于层混合不改变模型聚合的结果，该框架保持了与经典联邦平均相同的收敛性和效用。
• 实验表明，MixNN 在不牺牲任何模型效用的前提下，提供了优于本地差分隐私的隐私保护，是隐私保护联邦学习的更优选择。