[論文レビュー] Model Extraction Attacks on Split Federated Learning

Jingtao Li, Adnan Siraj Rakin+5 more|arXiv (Cornell University)|Mar 13, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この論文は、予測クエリをブロックしても、サーバーからの勾配情報を利用することで、Split Federated Learning (SFL) が新たなモデル抽出 (ME) 攻撃に対して脆弱であることを明らかにしている。著者らは、クライアント側モデルへのホワイトボックスアクセスと勾配クエリを利用し、VGG-11を用いたCIFAR-10で90%以上の精度を達成する5つのME攻撃変種—Craft-ME、GAN-ME、GM-ME、Train-ME、SoftTrain-ME—を提案している。サーバー側モデルが5層の場合、元の学習データがなくても、攻撃は成功する。

ABSTRACT

Federated Learning (FL) is a popular collaborative learning scheme involving multiple clients and a server. FL focuses on protecting clients' data but turns out to be highly vulnerable to Intellectual Property (IP) threats. Since FL periodically collects and distributes the model parameters, a free-rider can download the latest model and thus steal model IP. Split Federated Learning (SFL), a recent variant of FL that supports training with resource-constrained clients, splits the model into two, giving one part of the model to clients (client-side model), and the remaining part to the server (server-side model). Thus SFL prevents model leakage by design. Moreover, by blocking prediction queries, it can be made resistant to advanced IP threats such as traditional Model Extraction (ME) attacks. While SFL is better than FL in terms of providing IP protection, it is still vulnerable. In this paper, we expose the vulnerability of SFL and show how malicious clients can launch ME attacks by querying the gradient information from the server side. We propose five variants of ME attack which differs in the gradient usage as well as in the data assumptions. We show that under practical cases, the proposed ME attacks work exceptionally well for SFL. For instance, when the server-side model has five layers, our proposed ME attack can achieve over 90% accuracy with less than 2% accuracy degradation with VGG-11 on CIFAR-10.

研究の動機と目的

• 予測クエリがブロックされる現実的な脅威モデル下で、Split Federated Learning (SFL) がモデル抽出 (ME) 攻撃に対して真に耐性を持つのかを調査すること。
• 勾配情報とクライアント側モデルへのホワイトボックスアクセスを活用するSFLにおける新たな攻撃ベクトルを同定・実行すること。
• サーバー側モデルのサイズ（層数、N）がME攻撃の成功に与える影響と、知的財産保護とデータプライバシーの間のトレードオフを評価すること。
• L1正則化などの防御機構を検討し、SFLのME攻撃に対する耐性を高めること。
• データ仮定、モデルアーキテクチャ、データ分布（例：非IID）の変化を想定したME攻撃の有効性を評価すること。

提案手法

• 予測クエリが利用不可で勾配アクセスがあるSFLの脅威モデルに特化した、5つの新しいME攻撃変種—Craft-ME、GAN-ME、GM-ME、Train-ME、SoftTrain-ME—を設計する。
• クライアント側モデルのアーキテクチャとパラメータをホワイトボックスで把握し、サーヴィスモデルの構築と勾配ベース最適化を支援する。
• サーバーからの勾配クエリを活用して、フルSFLモデルの挙動を模倣するサーヴィスモデルを反復的に最適化する。
• GAN-ME や GM-ME のような攻撃では、データ拡張とトランスファーラーニング技術を用いて、サーヴィスモデルの一般化性能を向上させる。
• クライアント側モデルにL1正則化を適用し、特徴抽出を抑制し、情報漏洩を低減する防御機構を実装する。
• 複数のデータセット（CIFAR-10、CIFAR-100、ImageNet）、アーキテクチャ（VGG-11、ResNet-20、MobileNet-V2）、データ環境（元のデータ有無、非IIDデータ）で攻撃性能をベンチマークする。

(a) IP threat in Federated Learning

実験結果

リサーチクエスチョン

• RQ1 予測クエリがブロックされる状況下で、SFLはかつて想定されたようにME攻撃に対して真に耐性を持つのか？
• RQ2 サーバー側モデルからの勾配情報が、フルSFLモデルの高精度なサーヴィスモデルを再構築するために利用可能か？
• RQ3 サーバー側モデルの層数（N）がSFLにおけるME攻撃の成功に与える影響は何か？
• RQ4 SFLにおける知的財産保護（MEへの耐性）とデータプライバシー（メンバーインファレンスへの耐性）の間のトレードオフは何か？
• RQ5 L1正則化のような単純な正則化技術が、SFLにおけるME攻撃に対して効果的に防御に使えるか？

主な発見

• SFLは本質的にME攻撃に対して耐性があるわけではない。5つの新しい攻撃変種は、予測クエリなしでクライアント側モデルへのホワイトボックスアクセスと勾配クエリのみを用いて、CIFAR-10で90%以上の精度のサーヴィスモデルを効果的に抽出可能である。
• サーバー側モデルが5層（例：VGG-11）の場合、Train-ME攻撃は元の学習データがなくてもCIFAR-10で90%以上の精度を達成し、2%未満の精度低下で実現される。
• ME攻撃の成功率は、サーバー側モデルがより大きい（Nが大きい）と著しく低下するが、このような設定ではクライアント側モデルのサイズが小さくなり、クライアントのデータプライバシーが損なわれるため、実用的ではない。
• CIFAR-100 や ImageNet のような複雑なデータセットでは、ME攻撃の効果が低く、それぞれ20%以上、10%以上の精度差が生じるため、データセットの複雑さが自然な防御要因として機能することが示唆される。
• VGG-11と同等の分割構成下で、ResNet-20 や MobileNet-V2 は、VGG-11 よりもME攻撃に対してより耐性があることが示され、アーキテクチャの複雑さが知的財産保護を強化することが示唆される。
• クライアント側モデルにL1正則化（λ = 5e-5 から 2e-4）を適用することで、ME攻撃の性能が低下する一方で、精度の低下はわずか（例：λ = 5e-5 時に90.43%の精度）であり、防御機構としての実用性が示された。

(b) IP threat in Split Federated Learning