[论文解读] Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond

Yuzheng Hu, Tianle Cai+6 more|arXiv (Cornell University)|Jul 19, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文揭示了仅依赖同态加密（HE）的联邦学习框架中，垂直逻辑回归（VLR）存在标签恢复攻击的隐私风险，即使在小批量设置下亦然。作者提出一种主动攻击方法，通过辅助密文压缩技术削弱批量大小限制；同时提出一种基于差分隐私（DP）的防御机制，确保隐私与模型效用的平衡，并在MNIST和信用数据集上进行了实证验证。

ABSTRACT

We consider vertical logistic regression (VLR) trained with mini-batch gradient descent -- a setting which has attracted growing interest among industries and proven to be useful in a wide range of applications including finance and medical research. We provide a comprehensive and rigorous privacy analysis of VLR in a class of open-source Federated Learning frameworks, where the protocols might differ between one another, yet a procedure of obtaining local gradients is implicitly shared. We first consider the honest-but-curious threat model, in which the detailed implementation of protocol is neglected and only the shared procedure is assumed, which we abstract as an oracle. We find that even under this general setting, single-dimension feature and label can still be recovered from the other party under suitable constraints of batch size, thus demonstrating the potential vulnerability of all frameworks following the same philosophy. Then we look into a popular instantiation of the protocol based on Homomorphic Encryption (HE). We propose an active attack that significantly weaken the constraints on batch size in the previous analysis via generating and compressing auxiliary ciphertext. To address the privacy leakage within the HE-based protocol, we develop a simple-yet-effective countermeasure based on Differential Privacy (DP), and provide both utility and privacy guarantees for the updated algorithm. Finally, we empirically verify the effectiveness of our attack and defense on benchmark datasets. Altogether, our findings suggest that all vertical federated learning frameworks that solely depend on HE might contain severe privacy risks, and DP, which has already demonstrated its power in horizontal federated learning, can also play a crucial role in the vertical setting, especially when coupled with HE or secure multi-party computation (MPC) techniques.

研究动机与目标

• 分析仅使用同态加密（HE）进行安全计算的联邦学习框架中，垂直逻辑回归（VLR）的隐私风险。
• 探究在诚实但好奇威胁模型下，仅暴露梯度时，是否可从VLR的梯度中恢复敏感信息（尤其是标签）。
• 设计一种实用的主动攻击方法，通过生成并压缩辅助密文，突破现有标签恢复攻击中对批量大小的限制。
• 设计一种轻量但有效的基于差分隐私（DP）的防御机制，以缓解基于同态加密的VLR协议中的隐私泄露问题。
• 在基准数据集上实证验证攻击与防御的有效性，证明当前仅使用HE的VFL系统存在显著隐私漏洞。

提出的方法

• 将VLR中的梯度计算阶段抽象为诚实但好奇威胁模型下的一个预言机，聚焦于共享协议的行为特征，而非具体实现细节。
• 提出一种主动攻击方法，通过生成并压缩辅助密文，降低标签恢复所需的批量大小，从而削弱先前的假设限制。
• 通过在通信前向敏感梯度注入噪声，引入基于差分隐私（DP）的防御机制，确保在差分隐私框架下的隐私保障。
• 利用DP参数（ε）建模隐私-效用权衡，表明即使ε值较小（如ε = 0.2），MNIST上的模型准确率仍可保持在90%以上。
• 通过限制梯度范数（‖θ‖ ≤ 2）确保稳定性与DP兼容性，设定G = 1作为安全阈值。
• 对比零初始化、Xavier初始化与Kaiming初始化方案，表明较小的初始化尺度会增加标签恢复的脆弱性，从而证明DP防御的必要性。

实验结果

研究问题

• RQ1 当仅暴露梯度预言机时，即使在小批量设置下，是否仍可从垂直逻辑回归中恢复标签？
• RQ2 通过主动操纵加密梯度，标签恢复攻击中的批量大小限制可被放宽到何种程度？
• RQ3 在基于同态加密的VLR协议中引入差分隐私，是否能有效防止标签恢复，同时保持模型效用？
• RQ4 不同的权重初始化方案如何影响VLR中标签恢复攻击的可行性与成功率？
• RQ5 结合同态加密与差分隐私的混合协议，是否能在垂直联邦学习中提供强于仅使用HE的隐私保障？

主要发现

• 在未启用防御机制的HE-based VLR中，零初始化下MNIST与信用数据集的标签恢复攻击成功率高达100%，即使在小批量设置下亦然。
• 所提出的通过辅助密文压缩实现的主动攻击，显著降低了标签恢复所需的批量大小，使原本被认为不可行的攻击条件变为可行。
• 引入差分隐私（ε = 0.2）后，标签恢复成功率降至约50%，等同于随机猜测水平，而MNIST上的测试准确率仍保持在90%以上。
• Xavier初始化在低维设置（如信用数据集）下导致收敛更慢，且标签恢复成功率低于零初始化，表明其对攻击更具鲁棒性。
• 模型参数范数（‖θ‖）在整个训练过程中始终被限制在2以内，验证了在DP机制中使用G = 1的合理性，确保系统稳定性。
• 实证结果证实，仅使用HE的VFL框架易受推理攻击，而基于DP的防御机制能有效缓解此类风险，且不损害模型效用。