[论文解读] FedCIP: Federated Client Intellectual Property Protection with Traitor Tracking

Junchuan Liang, Rong Wang|arXiv (Cornell University)|Jun 2, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

FedCIP 是一种新颖的联邦学习框架，可在与安全聚合协议（如参数加密）兼容的同时，实现客户端知识产权保护和叛徒追踪。它采用动态可替换的客户端水印和客户端选择机制，识别反复窃取模型的恶意客户端，即使在经过 50 轮微调后仍能实现 100% 的水印检测准确率，并在剪枝达到 50% 稀疏度时保持鲁棒性。

ABSTRACT

Federated learning is an emerging privacy-preserving distributed machine learning that enables multiple parties to collaboratively learn a shared model while keeping each party's data private. However, federated learning faces two main problems: semi-honest server privacy inference attacks and malicious client-side model theft. To address privacy inference attacks, parameter-based encrypted federated learning secure aggregation can be used. To address model theft, a watermark-based intellectual property protection scheme can verify model ownership. Although watermark-based intellectual property protection schemes can help verify model ownership, they are not sufficient to address the issue of continuous model theft by uncaught malicious clients in federated learning. Existing IP protection schemes that have the ability to track traitors are also not compatible with federated learning security aggregation. Thus, in this paper, we propose a Federated Client-side Intellectual Property Protection (FedCIP), which is compatible with federated learning security aggregation and has the ability to track traitors. To the best of our knowledge, this is the first IP protection scheme in federated learning that is compatible with secure aggregation and tracking capabilities.

研究动机与目标

• 弥合现有知识产权保护方案在联邦学习安全聚合兼容性或持续模型窃贼追踪能力方面的空白。
• 在不修改服务器端计算的前提下，保护联邦学习中的客户端模型知识产权，确保与基于加密的安全机制兼容。
• 通过在训练轮次中嵌入唯一且可替换的水印，实现对反复窃取模型的恶意客户端的检测。
• 在保持高水印检测准确率的同时，最小化性能开销，抵御常见模型操作攻击（如剪枝和微调）。
• 为应对诚实但好奇的服务器和持续的客户端侧窃取威胁，提供一种实用且可扩展的解决方案，用于识别联邦学习系统中的叛徒。

提出的方法

• 采用可替换的客户端水印机制，在每轮联邦学习中动态改变水印，确保每名客户端在每轮中拥有唯一水印。
• 基于参与可疑模型更新轮次的客户端，通过客户端选择形成潜在叛徒的候选集。
• 通过跨多个可疑模型集的重叠客户端进行交集分析，识别出真正的叛徒。
• 通过仅需客户端侧水印嵌入，无需服务器端修改，与 Paillier 加密等安全聚合协议实现集成。
• 利用仅参与多轮且携带唯一水印的客户端才可能被标记的特性，提高窃取成本。
• 通过避免除必要聚合外的任何服务器端模型修改，确保与现有安全聚合机制的向后兼容性。

实验结果

研究问题

• RQ1 能否设计一种水印方案，使联邦学习中的叛徒追踪与安全聚合协议（如参数加密）兼容？
• RQ2 所提出方法在检测和识别跨多轮训练持续窃取模型的恶意客户端方面效果如何？
• RQ3 该水印方案对常见模型操作攻击（如剪枝和微调）的鲁棒性如何？
• RQ4 动态水印机制在真实联邦学习环境中对模型准确率和检测性能的影响如何？
• RQ5 该叛徒追踪机制在多大程度上降低了恶意客户端进行模型窃取的动机？

主要发现

• FedCIP 即使在 50 轮微调后仍保持 100% 的水印检测准确率，表明其对模型微调攻击具有强大抵抗力。
• 在剪枝情况下，当稀疏度系数达到 0.5 时，水印检测准确率仍保持在原始值的 5% 以内，表明对权重剪枝具有鲁棒性。
• 通过跨多轮可疑客户端集合的交集分析，该方法成功识别出恶意客户端，实现精准的叛徒追踪。
• FedCIP 与 Paillier 加密等安全聚合协议完全兼容，因其仅需客户端侧水印嵌入，无需服务器端模型修改。
• 动态水印机制通过使重复窃取行为可检测，提高了窃取成本，从而有效威慑持续攻击者。
• 该框架在多个数据集和模型上均保持了模型准确率，证实其在真实联邦学习部署中的实用性与可扩展性。