[论文解读] Active Membership Inference Attack under Local Differential Privacy in Federated Learning

Truc Nguyen, Phung Lai+3 more|arXiv (Cornell University)|Feb 24, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种联邦学习中的新型主动成员推理（AMI）攻击，其中恶意服务器通过操纵全局模型权重来推断目标数据样本是否存在于客户端的训练集中。通过利用恶意参数嵌入非线性决策边界，该攻击在严格的本地差分隐私（LDP）保护下仍能实现高成功率，暴露了尽管具备正式隐私保证但依然存在的严重隐私风险。

ABSTRACT

Federated learning (FL) was originally regarded as a framework for collaborative learning among clients with data privacy protection through a coordinating server. In this paper, we propose a new active membership inference (AMI) attack carried out by a dishonest server in FL. In AMI attacks, the server crafts and embeds malicious parameters into global models to effectively infer whether a target data sample is included in a client's private training data or not. By exploiting the correlation among data features through a non-linear decision boundary, AMI attacks with a certified guarantee of success can achieve severely high success rates under rigorous local differential privacy (LDP) protection; thereby exposing clients' training data to significant privacy risk. Theoretical and experimental results on several benchmark datasets show that adding sufficient privacy-preserving noise to prevent our attack would significantly damage FL's model utility.

研究动机与目标

• 填补现有成员推理攻击在LDP保护下未能充分利用数据特征相关性的空白。
• 形式化一种新型威胁模型，即恶意服务器主动操纵全局模型权重以推断客户端数据成员身份。
• 证明当利用复杂攻击中的特征相关性时，LDP保护不足以防止成员推理攻击。
• 揭示联邦学习中模型效用与隐私保护之间的根本权衡，表明强隐私保护会严重降低模型性能。
• 在LDP下为AMI攻击提供经认证的成功保证，凸显其实际可行性和严重性。

提出的方法

• 通过在模型权重中设计非线性决策边界来构建恶意全局模型，以控制神经元激活行为。
• 针对一个其激活模式在目标数据样本与非目标样本之间存在显著差异的特定神经元。
• 以最小扰动将恶意权重嵌入全局模型，以避免在单次训练迭代中被检测到。
• 利用数据特征之间的相关性，确保在LDP噪声下目标样本能持续激活所选神经元。
• 使用核密度估计（KDE）可视化并验证目标样本与非目标样本激活之间的统计分离。
• 基于激活分布之间的统计差异，形式化该攻击并提供经认证的成功保证。

实验结果

研究问题

• RQ1 在联邦学习中，恶意服务器是否能通过主动操纵全局模型权重实现高成员推理成功率？
• RQ2 当利用特征相关性时，本地差分隐私（LDP）保护在多大程度上能缓解此类主动成员推理攻击？
• RQ3 在使用LDP防御此AMI攻击时，模型效用与隐私保护之间存在何种权衡？
• RQ4 客户端或系统监控是否能基于统计异常检测到恶意模型权重？
• RQ5 恶意权重中的非线性决策边界如何在LDP下实现可靠的成员推理？

主要发现

• 所提出的AMI攻击即使在严格的LDP保护下（如隐私预算较小，例如ε = 2, 3, 5），仍能实现极高的成员推理成功率。
• 该攻击仅需对全局模型参数进行极小修改，即可在单次训练迭代内完成，具备高度隐蔽性。
• 核密度估计结果表明，目标样本与非目标样本激活分布之间的重叠显著减少，证实了经认证的成功保证。
• 当隐私预算足够大以保留特征相关性时，LDP保护对AMI攻击完全无效，从而破坏其隐私保证。
• 为防止该攻击而添加足够的LDP噪声将严重损害模型效用，暴露出联邦学习设计中的关键权衡。
• 恶意权重在统计上与正常权重无法区分，使得基于权重分布分析的检测方法不可行。