[论文解读] FedTracker: Furnishing Ownership Verification and Traceability for Federated Learning Model

Shuo Shao, Wenyuan Yang+5 more|arXiv (Cornell University)|Nov 14, 2022

Cloud Data Security Solutions被引用 5

一句话总结

FedTracker 是首个通过双层保护机制在联邦学习（FL）模型中同时提供所有权验证与可追溯性的联邦学习框架：全局水印用于所有权证明，客户端特定的本地指纹用于泄密者识别。通过持续学习实现水印嵌入，并引入一种新型的指纹相似度评分（FSS）指标，FedTracker 在各种攻击和非独立同分布（non-i.i.d.）数据设置下实现了 100% 的可追溯性，且水印准确率保持在 60% 以上。

ABSTRACT

Federated learning (FL) is a distributed machine learning paradigm allowing multiple clients to collaboratively train a global model without sharing their local data. However, FL entails exposing the model to various participants. This poses a risk of unauthorized model distribution or resale by the malicious client, compromising the intellectual property rights of the FL group. To deter such misbehavior, it is essential to establish a mechanism for verifying the ownership of the model and as well tracing its origin to the leaker among the FL participants. In this paper, we present FedTracker, the first FL model protection framework that provides both ownership verification and traceability. FedTracker adopts a bi-level protection scheme consisting of global watermark mechanism and local fingerprint mechanism. The former authenticates the ownership of the global model, while the latter identifies which client the model is derived from. FedTracker leverages Continual Learning (CL) principles to embed the watermark in a way that preserves the utility of the FL model on both primitive task and watermark task. FedTracker also devises a novel metric to better discriminate different fingerprints. Experimental results show FedTracker is effective in ownership verification, traceability, and maintains good fidelity and robustness against various watermark removal attacks.

研究动机与目标

• 为解决联邦学习（FL）版权保护中的关键空白，实现对泄露模型的所有权验证与可追溯性。
• 设计一种机制，使联邦学习群体能够在无需白盒访问可疑模型的情况下证明模型所有权。
• 在协作式联邦学习环境中，识别出导致模型泄露的具体客户端。
• 确保受保护模型在保持高实用性的前提下，对常见模型操作攻击具有鲁棒性。
• 提出一种新型的指纹相似度度量（FSS），其在区分客户端指纹方面优于传统汉明距离。

提出的方法

• FedTracker 采用双层保护机制：在联邦聚合过程中嵌入全局水印以实现所有权验证，同时为每个客户端分配独立的本地指纹以实现可追溯性。
• 采用基于持续学习（CL）的水印嵌入机制，即使在无原始训练数据访问的情况下，也能在原始任务和水印任务上保持模型实用性。
• 利用持续学习原理将全局水印嵌入聚合模型中，以最小化性能下降并增强鲁棒性。
• 为每个客户端分配唯一本地指纹，并在模型分发前将其嵌入，以实现泄密者追踪。
• 提出一种新型的指纹相似度评分（FSS）指标，用于定量比较指纹，并在指纹区分准确率上优于汉明距离。
• 在多种攻击场景下对框架进行评估，包括微调、剪枝和覆盖攻击，数据分布为非独立同分布（non-i.i.i.）

Figure 1: Illustration of model leakage in FL and the solution framework. Left: the malicious client can sell the model to other parties. Middle: FL group needs to verify the ownership through API access. Right: fingerprint is extracted from the model and compared with all the fingerprints of Client

实验结果

研究问题

• RQ1 联邦学习框架能否同时为泄露模型提供所有权验证与可追溯性？
• RQ2 在无训练数据访问的情况下，如何在联邦学习模型中嵌入水印，同时保持模型实用性？
• RQ3 指纹机制能否在多个联邦学习参与者中唯一识别出泄密者？
• RQ4 FSS 指标在指纹区分方面为何优于传统汉明距离？
• RQ5 在非独立同分布数据设置下，水印与指纹对常见模型操作攻击的鲁棒性如何？

主要发现

• FedTracker 在所有评估的攻击场景中，包括微调、剪枝和覆盖攻击，均实现了 100% 的可追溯性，成功识别出模型泄密者。
• 在非独立同分布（non-i.i.d.）设置下，水印准确率保持在 60% 以上，足以实现可靠的所有权验证。
• 剪枝非批归一化层会使水印准确率降至 52%（在 50% 剪枝率下），但模型仍可使用，且水印可被检测到。
• 剪枝批归一化层会导致显著的性能损失（测试准确率下降超过 15%），使此类攻击无效，因此不被视为成功攻击。
• 在汉明距离失效的情况下，FSS 指标成功识别出泄密者，尤其在 VGG-16（20 个客户端，90% 汉明距离 vs. 100% FSS）和 ResNet-18（30 个客户端，23.3% 汉明距离 vs. 100% FSS）中表现突出。
• FedTracker 在非独立同分布数据分布下保持了高保真度与鲁棒性，证明其在真实联邦学习场景中具有广泛适用性。

Figure 2: Workflow of FedTracker in each iteration. FedTracker consists of four stages. \footnotesize{1}⃝ Local training and aggregation. \footnotesize{2}⃝ Global watermark embedding. \footnotesize{3}⃝ Local fingerprints insertion. \footnotesize{4}⃝ Model distribution.