[論文レビュー] FedTracker: Furnishing Ownership Verification and Traceability for Federated Learning Model

Shuo Shao, Wenyuan Yang+5 more|arXiv (Cornell University)|Nov 14, 2022

Cloud Data Security Solutions被引用数 5

ひとこと要約

FedTrackerは、二段階の保護方式を用いて、フェデレーテッドラーニング（FL）モデルの所有権証明とリーク元追跡を両立する最初のフレームワークである。グローバルなウォーターマークによる所有権証明と、クライアント固有のローカルフィンガープリントによるリーク元特定を実現する。継続的学習（CL）を用いたウォーターマーク埋め込みと、新規のフィンガープリント類似度スコア（FSS）指標を活用し、さまざまな攻撃や非i.i.d.データ設定下でも100%の追跡可能性と60%以上の高いウォーターマーク正確性を達成する。

ABSTRACT

Federated learning (FL) is a distributed machine learning paradigm allowing multiple clients to collaboratively train a global model without sharing their local data. However, FL entails exposing the model to various participants. This poses a risk of unauthorized model distribution or resale by the malicious client, compromising the intellectual property rights of the FL group. To deter such misbehavior, it is essential to establish a mechanism for verifying the ownership of the model and as well tracing its origin to the leaker among the FL participants. In this paper, we present FedTracker, the first FL model protection framework that provides both ownership verification and traceability. FedTracker adopts a bi-level protection scheme consisting of global watermark mechanism and local fingerprint mechanism. The former authenticates the ownership of the global model, while the latter identifies which client the model is derived from. FedTracker leverages Continual Learning (CL) principles to embed the watermark in a way that preserves the utility of the FL model on both primitive task and watermark task. FedTracker also devises a novel metric to better discriminate different fingerprints. Experimental results show FedTracker is effective in ownership verification, traceability, and maintains good fidelity and robustness against various watermark removal attacks.

研究の動機と目的

• フェデレーテッドラーニング（FL）における著作権保護の重要なギャップを解消し、リークされたモデルの所有権証明と追跡可能性を両立すること。
• 白ボックスアクセスを必要としない形で、FLグループがモデル所有権を証明できるメカニズムを設計すること。
• 共同でのFL環境における複数の参加者の中から、具体的にどのクライアントがモデルをリークしたかを同定できること。
• 保護されたモデルが高い実用性を保ち、一般的なモデル改ざん攻撃に対して耐性を持つこと。
• 従来のハミング距離よりも優れた区別性能を示す、新規のフィンガープリント類似度スコア（FSS）を導入すること。

提案手法

• FedTrackerは二段階の保護方式を採用する：フェデレーテッドアグリゲーション段階で埋め込まれるグローバルウォーターマークによる所有権証明と、クライアントごとのローカルフィンガープリントによる追跡性確保。
• 訓練データの入手が不可能な状況下でも、モデルの実用性を保ちつつ、ウォーターマークタスクと元のタスクの両方で性能を維持する継続的学習（CL）に基づくウォーターマーク埋め込み手法を採用。
• グローバルウォーターマークは、CLの原則に従って集約モデルに埋め込まれ、性能劣化を最小限に抑え、耐性を高める。
• 各クライアントには一意のローカルフィンガープリントが割り当てられ、配布前にモデルに埋め込まれ、リーク元のトレースが可能になる。
• フィンガープリントの比較を定量的に行い、ハミング距離よりも優れた識別精度を実現するため、新規のフィンガープリント類似度スコア（FSS）指標を提案。
• 非i.i.d.データ分布下で、微調整、プルーニング、上書き攻撃などのさまざまな攻撃シナリオにおいてフレームワークを評価。

Figure 1: Illustration of model leakage in FL and the solution framework. Left: the malicious client can sell the model to other parties. Middle: FL group needs to verify the ownership through API access. Right: fingerprint is extracted from the model and compared with all the fingerprints of Client

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークは、リークされたモデルについて、所有権証明と追跡可能性を同時に提供できるか？
• RQ2 訓練データへのアクセスがなくても、モデル実用性を保ちながら、ウォーターマークをFLモデルに埋め込めるか？
• RQ3 フィンガープリントメカニズムは、複数のFL参加者の中からリーク元を一意に特定できるか？
• RQ4 Fingerprint Similarity Score（FSS）は、従来のハミング距離に比べて、フィンガープリントの識別性能をどのように向上させるか？
• RQ5 非i.i.d.データ設定下で、ウォーターマークとフィンガープリントは一般的なモデル改ざん攻撃に対してどれほど耐性を示すか？

主な発見

• FedTrackerは、微調整、プルーニング、上書き攻撃を含むすべての評価攻撃シナリオにおいて、100%の追跡可能性を達成した。
• 非i.i.d.設定下でもウォーターマーク正確性が60%以上を維持し、信頼性の高い所有権証明に十分である。
• バッチ正規化層を除くプルーニングでは、50%のプルーニング率でウォーターマーク正確性が52%に低下するが、モデルは依然として使用可能で、ウォーターマークは検出可能である。
• バッチ正規化層をプルーニングすると、性能劣化（テスト精度で15%以上の低下）が顕著に現れ、攻撃は実効的ではなく、成功とは見なされない。
• ハミング距離が失敗する状況でも、FSS指標はリーク元を正しく同定できる。特にVGG-16（20クライアント、90% HD vs. 100% FSS）およびResNet-18（30クライアント、23.3% HD vs. 100% FSS）で顕著な優位性を示した。
• FedTrackerは非i.i.d.データ分布下でも高い忠実度と耐性を維持し、現実のFL環境における広範な適用可能性を示した。

Figure 2: Workflow of FedTracker in each iteration. FedTracker consists of four stages. \footnotesize{1}⃝ Local training and aggregation. \footnotesize{2}⃝ Global watermark embedding. \footnotesize{3}⃝ Local fingerprints insertion. \footnotesize{4}⃝ Model distribution.