[論文レビュー] FedCIP: Federated Client Intellectual Property Protection with Traitor Tracking

Junchuan Liang, Rong Wang|arXiv (Cornell University)|Jun 2, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FedCIP は、パラメータ暗号化などのセキュアアグリゲーションプロトコルと互換性を持つ、クライアント側の知的財産保護とトレイトルトラッキングを可能にする新しいフェデレーテッドラーニングフレームワークである。動的で交換可能なクライアント側のウェットマーキングとクライアント選択を用い、繰り返しモデルを盗もうとする悪意あるクライアントを特定する。50ラウンドのファインチューニング後でも100%のウェットマーキング検出精度を達成し、50%までのスパarsity（スパースネス）に対する耐性も示す。

ABSTRACT

Federated learning is an emerging privacy-preserving distributed machine learning that enables multiple parties to collaboratively learn a shared model while keeping each party's data private. However, federated learning faces two main problems: semi-honest server privacy inference attacks and malicious client-side model theft. To address privacy inference attacks, parameter-based encrypted federated learning secure aggregation can be used. To address model theft, a watermark-based intellectual property protection scheme can verify model ownership. Although watermark-based intellectual property protection schemes can help verify model ownership, they are not sufficient to address the issue of continuous model theft by uncaught malicious clients in federated learning. Existing IP protection schemes that have the ability to track traitors are also not compatible with federated learning security aggregation. Thus, in this paper, we propose a Federated Client-side Intellectual Property Protection (FedCIP), which is compatible with federated learning security aggregation and has the ability to track traitors. To the best of our knowledge, this is the first IP protection scheme in federated learning that is compatible with secure aggregation and tracking capabilities.

研究の動機と目的

• フェデレーテッドラーニングのセキュアアグリゲーションと互換性がない、もしくは恒久的なモデル泥棒を追跡できない既存の知的財産保護方式のギャップを埋める。
• サーバー側の計算を変更せずにフェデレーテッドラーニングにおけるクライアント側のモデル知的財産を保護し、暗号化ベースのセキュリティと互換性を保つ。
• 複数のトレーニングラウンドにわたり、一貫してモデルを盗もうとする悪意あるクライアントを特定するため、トレーニングラウンド全体にわたって一意で置き換え可能なウェットマーキングを埋め込む。
• プルーニングやファインチューニングといった一般的なモデル改ざん攻撃に対して高いウェットマーキング検出精度を維持しながら、パフォーマンスのオーバーヘッドを最小限に抑える。
• 誠実だが好奇心の強いサーバーと、継続的なクライアント側の盗難という脅威下でも、実用的でスケーラブルなトレイトル特定ソリューションを提供する。

提案手法

• 各フェデレーテッドラーニングラウンドごとに、ウェットマーキングを動的に変更する交換可能なクライアント側ウェットマーキングを適用し、クライアントごとにラウンドごとに一意のウェットマーキングを保証する。
• 不審なモデル更新が見られたラウンドへの参加に基づいてクライアント選択を行い、潜在的なトレイトル候補となるクライアント集合を形成する。
• 複数の不審なモデル更新セットに共通するクライアントを比較することで、インターセクション解析により実際に悪意あるクライアントを同定する。
• パルミエール暗号化などのセキュアアグリゲーションプロトコルと統合する際、サーバー側の変更はアグリゲーションに必要な範囲に限定され、クライアント側でのウェットマーキング埋め込みのみを要件とする。
• 複数ラウンドにわたり一意のウェットマーキングに参加したクライアントのみがフラグが立てられることを活用し、盗難のコストを高める。
• サーバー側のモデル変更を最小限に抑え、既存のセキュアアグリゲーションと完全に後方互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 パラメータ暗号化などのセキュアアグリゲーションプロトコルと互換性を持つウェットマーキング方式を設計できるか。
• RQ2 提案手法は、複数のトレーニングラウンドにわたり繰り返しモデルを盗もうとする悪意あるクライアントを、どの程度効果的に検出・同定できるか。
• RQ3 プルーニングやファインチューニングといった一般的なモデル改ざん攻撃に対して、ウェットマーキング方式の耐性はどの程度か。
• RQ4 動的ウェットマーキング機構は、実際のフェデレーテッドラーニング環境において、モデル精度と検出パフォーマンスにどのように影響を与えるか。
• RQ5 トレイトルトラッキング機構は、悪意あるクライアントがモデル泥棒行為に及ぶ動機をどの程度低下させるか。

主な発見

• FedCIP は、50ラウンドのファインチューニング後でも100%のウェットマーキング検出精度を維持しており、モデルファインチューニング攻撃に対して強い耐性を示している。
• スパarsity係数が0.5までに達するプルーニングにおいても、元の値から5%以内のウェットマーキング検出精度を維持しており、重みプルーニングに対する耐性が確認された。
• 複数ラウンドにわたる不審なクライアント集合のインターセクションを用いた分析により、悪意あるクライアントが正確に同定された。
• FedCIP は、パルミエール暗号化などのセキュアアグリゲーションプロトコルと完全に互換性があり、アグリゲーションを除くサーバー側のモデル変更が不要である。
• 動的ウェットマーキング機構により、繰り返しの盗難が検出可能となるため、盗難のコストが上昇し、継続的な攻撃者を抑止する。
• 複数のデータセットおよびモデルにおいて、モデル精度が保持されていることから、実際のフェデレーテッドラーニング環境における実用性とスケーラビリティが確認された。