[论文解读] A Framework for Evaluating Privacy-Utility Trade-off in Vertical Federated Learning

Yan Kang, Jiahuan Luo+4 more|arXiv (Cornell University)|Sep 8, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出一个全面的评估框架，用于评估纵向联邦学习（VFL）中的隐私-效用权衡，系统性地评估六种保护机制在三种VFL算法上对当前最先进的隐私攻击的防御效果。主要发现是，尽管模型反演攻击和标签推断攻击得到有效缓解，但模型补全（MC）攻击仍极难防御，凸显了针对MC攻击专门防护的必要性。

ABSTRACT

Federated learning (FL) has emerged as a practical solution to tackle data silo issues without compromising user privacy. One of its variants, vertical federated learning (VFL), has recently gained increasing attention as the VFL matches the enterprises' demands of leveraging more valuable features to build better machine learning models while preserving user privacy. Current works in VFL concentrate on developing a specific protection or attack mechanism for a particular VFL algorithm. In this work, we propose an evaluation framework that formulates the privacy-utility evaluation problem. We then use this framework as a guide to comprehensively evaluate a broad range of protection mechanisms against most of the state-of-the-art privacy attacks for three widely deployed VFL algorithms. These evaluations may help FL practitioners select appropriate protection mechanisms given specific requirements. Our evaluation results demonstrate that: the model inversion and most of the label inference attacks can be thwarted by existing protection mechanisms; the model completion (MC) attack is difficult to be prevented, which calls for more advanced MC-targeted protection mechanisms. Based on our evaluation results, we offer concrete advice on improving the privacy-preserving capability of VFL systems. The code is available at https://github.com/yankang18/Attack-Defense-VFL

研究动机与目标

• 解决纵向联邦学习（VFL）中隐私-效用权衡缺乏系统性评估的问题，这对企业级部署至关重要。
• 构建一个标准化的评估问题，平衡VFL系统中的隐私泄露与效用损失。
• 在广泛部署的VFL算法上，全面评估多种保护机制对多种当前最先进的隐私攻击的防御效果。
• 识别现有保护机制的局限性，并根据特定威胁模型和需求，指导实践者选择合适的机制。
• 提供一个可重用的代码库，支持通过可扩展钩子集成新攻击和保护机制，以支持未来研究和部署。

提出的方法

• 提出一个正式的评估框架，将隐私泄露（εp）和效用损失（εu）作为双重指标，量化评估VFL系统。
• 将六种保护机制——差分隐私（DP-L）、隔离（ISO）、梯度裁剪（GC）、数据打乱（D-SGD）、MixUp和PRECODE——集成到该框架中。
• 将该框架应用于评估对三种主要隐私攻击的防御效果：模型反演（MI）、标签推断（LI）和模型补全（MC），针对三种VFL算法：VHNN、VSNN和VNN。
• 在模型反演攻击中，分别使用SSIM和准确率（Acc）作为隐私泄露和效用损失的度量指标。
• 对模型结构泄露进行消融研究，测试攻击者是否能通过使用不同架构绕过保护机制。
• 实现一个开源代码库，支持新攻击和保护机制的集成，以实现可扩展性和可复现性。

实验结果

研究问题

• RQ1 现有保护机制在不同VFL算法上的隐私-效用权衡表现如何？
• RQ2 当前保护机制在VFL中对模型反演、标签推断和模型补全攻击的防御能力有多高？
• RQ3 当攻击者使用不同模型结构（如全连接层而非卷积层）时，隐藏真实模型结构如何影响模型反演攻击的成功率？
• RQ4 在实际VFL部署中，哪些保护机制在隐私保护与模型效用之间提供了最佳平衡？
• RQ5 当前VFL系统中的关键漏洞是什么，特别是关于模型补全攻击？

主要发现

• 模型反演（MI）和标签推断（LI）攻击被大多数保护机制有效缓解，其中PRECODE在VHNN和VSNN中均实现近乎零隐私泄露（εp = 0.02）。
• 模型补全（MC）攻击对现有保护机制仍具有极强的鲁棒性，在CIFAR10和NUSWIDE10等10类数据集上，所有六种机制均无法阻止该攻击。
• 在VSNN中，所有保护机制均无法阻止MC攻击（S*PU = 0），表明VSNN架构显著削弱了隐私保护，应在生产环境中避免使用。
• 在各类保护机制中，DP-L和ISO对MC攻击表现出最强的抵抗能力，其次是GC和MN，而D-SGD表现最差。
• 当攻击者使用不同模型结构（如全连接层而非卷积层）时，模型反演攻击显著减弱，表明隐藏模型架构是一种可行的防御策略。
• 随着更激进的数据增强（如使用4个样本的MixUp），效用损失增加，但这也降低了隐私泄露，使实践者能够通过参数调节实现权衡优化。