[论文解读] Model Extraction Attacks on Split Federated Learning

Jingtao Li, Adnan Siraj Rakin+5 more|arXiv (Cornell University)|Mar 13, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文揭示了尽管阻止了预测查询，Split Federated Learning (SFL) 仍易受新型模型提取（ME）攻击的影响，攻击者通过利用服务器端的梯度信息实现攻击。作者提出了五种新型 ME 攻击变体——Craft-ME、GAN-ME、GM-ME、Train-ME 和 SoftTrain-ME，这些攻击利用对客户端模型的白盒访问和梯度查询，在服务器端模型具有五层时，即使在没有原始训练数据的情况下，也能在 CIFAR-10 上实现超过 90% 的准确率。

ABSTRACT

Federated Learning (FL) is a popular collaborative learning scheme involving multiple clients and a server. FL focuses on protecting clients' data but turns out to be highly vulnerable to Intellectual Property (IP) threats. Since FL periodically collects and distributes the model parameters, a free-rider can download the latest model and thus steal model IP. Split Federated Learning (SFL), a recent variant of FL that supports training with resource-constrained clients, splits the model into two, giving one part of the model to clients (client-side model), and the remaining part to the server (server-side model). Thus SFL prevents model leakage by design. Moreover, by blocking prediction queries, it can be made resistant to advanced IP threats such as traditional Model Extraction (ME) attacks. While SFL is better than FL in terms of providing IP protection, it is still vulnerable. In this paper, we expose the vulnerability of SFL and show how malicious clients can launch ME attacks by querying the gradient information from the server side. We propose five variants of ME attack which differs in the gradient usage as well as in the data assumptions. We show that under practical cases, the proposed ME attacks work exceptionally well for SFL. For instance, when the server-side model has five layers, our proposed ME attack can achieve over 90% accuracy with less than 2% accuracy degradation with VGG-11 on CIFAR-10.

研究动机与目标

• 调查在预测查询被阻止的现实威胁模型下，Split Federated Learning (SFL) 是否真正对模型提取（ME）攻击具有抵抗力。
• 识别并利用 SFL 中新的攻击向量，这些向量依赖于梯度信息和对客户端模型的白盒访问。
• 评估服务器端模型规模（层数，N）对 ME 攻击成功率的影响，以及由此产生的知识产权保护与数据隐私之间的权衡。
• 探索并验证防御机制（如 L1 正则化）以增强 SFL 对 ME 攻击的抵抗力。
• 评估在不同数据假设、模型架构和数据分布（如非独立同分布，non-IID）下 ME 攻击的有效性。

提出的方法

• 设计五种新型 ME 攻击变体——Craft-ME、GAN-ME、GM-ME、Train-ME 和 SoftTrain-ME，专门针对 SFL 的威胁模型，具备梯度访问能力且无预测查询访问。
• 利用对客户端模型架构和参数的白盒知识，指导替代模型的构建与基于梯度的优化。
• 通过服务器端的梯度查询，迭代优化一个能够模仿完整 SFL 模型行为的替代模型。
• 在 GAN-ME 和 GM-ME 等攻击中应用数据增强和迁移学习技术，以提升替代模型的泛化能力。
• 在客户端模型上实施 L1 正则化作为防御机制，以抑制特征提取并减少信息泄露。
• 在多个数据集（CIFAR-10、CIFAR-100、ImageNet）、模型架构（VGG-11、ResNet-20、MobileNet-V2）以及数据配置（有/无原始数据、非 IID 数据）下对攻击性能进行基准测试。

(a) IP threat in Federated Learning

实验结果

研究问题

• RQ1 当预测查询被阻止时，SFL 是否如先前假设的那样真正对模型提取（ME）攻击具有抵抗力？
• RQ2 能否利用服务器端模型的梯度信息，重建出完整 SFL 模型的高精度替代模型？
• RQ3 服务器端模型的层数（N）如何影响 SFL 中 ME 攻击的成功率？
• RQ4 在 SFL 中，知识产权保护（对 ME 的抵抗力）与数据隐私（对成员推断攻击的抵抗力）之间存在何种权衡？
• RQ5 像 L1 正则化这样的简单正则化技术是否能有效防御 SFL 中的 ME 攻击？

主要发现

• SFL 并非天然对 ME 攻击具有抵抗力；五种新型攻击变体可仅通过梯度查询和对客户端模型的白盒访问，在 CIFAR-10 上成功提取出准确率超过 90% 的替代模型。
• 当服务器端模型具有五层（例如在 VGG-11 中）时，Train-ME 攻击在 CIFAR-10 上的准确率超过 90%，且性能下降不足 2%，即使在无原始训练数据的情况下亦成立。
• 随着服务器端模型规模增大（N 增大），ME 攻击成功率显著下降，但此类配置会因减小客户端模型规模而损害客户端数据隐私，因而不切实际。
• 对于复杂数据集如 CIFAR-100 和 ImageNet，ME 攻击效果较弱，准确率差距分别超过 20% 和 10%，表明数据集复杂度可作为天然防御机制。
• 在相似拆分配置下，ResNet-20 和 MobileNet-V2 架构比 VGG-11 更具抗 ME 攻击能力，表明模型架构复杂性可增强知识产权保护。
• 在客户端模型上应用 L1 正则化（λ = 5e-5 至 2e-4）可降低 ME 攻击性能，同时仅造成轻微准确率下降（例如 λ = 5e-5 时准确率为 90.43%），证明其作为防御机制的可行性。

(b) IP threat in Split Federated Learning