[論文レビュー] ExPLoit: Extracting Private Labels in Split Learning

Sanjay Kariyappa, Moinuddin K. Qureshi|arXiv (Cornell University)|Nov 25, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

ExPLoit は、代替モデルと特許の損失関数を用いて、勾配一致とデータ／モデル正則化を組み合わせることで、タスクを補間モデルを用いた教師あり学習として定式化することで、ラベル所有者からプライベートラベルを抽出できるラベル漏洩攻撃である。この攻撃は最大99.96％のラベル漏洩精度を達成し、スプリット学習がラベルのプライバシー保護にほとんど寄与しないことを示している。

ABSTRACT

Split learning is a popular technique used for vertical federated learning (VFL), where the goal is to jointly train a model on the private input and label data held by two parties. This technique uses a split-model, trained end-to-end, by exchanging the intermediate representations (IR) of the inputs and gradients of the IR between the two parties. We propose ExPLoit - a label-leakage attack that allows an adversarial input-owner to extract the private labels of the label-owner during split-learning. ExPLoit frames the attack as a supervised learning problem by using a novel loss function that combines gradient-matching and several regularization terms developed using key properties of the dataset and models. Our evaluations show that ExPLoit can uncover the private labels with near-perfect accuracy of up to 99.96%. Our findings underscore the need for better training techniques for VFL.

研究の動機と目的

• スプリット学習がラベル所有者が保持するプライベートラベルに対して意味のあるプライバシー保証を提供するかどうかを調査すること。
• 悪意ある入力所有者がスプリット学習中にラベル所有者のプライベートラベルを抽出できる実用的な攻撃を開発すること。
• このようなラベル漏洩攻撃に対する勾配ノイズを防御メカニズムとして評価すること。
• 既存のスプリット学習プロトコルがラベルプライバシーを保護していないことの実証を行い、改善された垂直フェデレーテッドラーニング技術の必要性を示すこと。

提案手法

• ExPLoit は、ラベル所有者のモデルとプライベートラベルを学習可能な代替モデルと代替ラベルに置き換えることで、攻撃を教師あり学習問題として定式化する。
• 攻撃は、勾配一致、ラベル事前分布一致、ラベルエントロピー最小化、予測精度の目的を組み合わせた新しい損失関数を用いる。
• 代替パラメータは、スプリット学習中に交換される中間表現（IR）と勾配を用いて訓練され、{z_i, ∇_z L_i} の全ペアを活用する。
• 代替ラベルが真のラベル分布を反映し、かつハード（低エントロピー）であることを保証するために、ラベル事前分布とエントロピー制約による正則化を適用する。
• 勾配忠実度、ラベル分布整合性、モデル精度のバランスを取るために、複合損失関数を最適化する。
• 防御は勾配にガウスノイズ（η ~ N(0, σ)）を追加することで評価され、データセット across でのユーティリティ-プライバシーのトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 悪意ある入力所有者は、二者間のスプリット学習環境でラベル所有者のプライベートラベルを抽出できるか？
• RQ2 提案された ExPLoit 攻撃は、多様なデータセットにおけるスプリット学習のラベルプライバシーをどの程度損なうか？
• RQ3 勾配ノイズは、ラベル漏洩を軽減する防御としてどの程度有効であり、その結果として得られるユーティリティ-プライバシーのトレードオフはいかなるものか？
• RQ4 ExPLoit は、スプリット学習における先行するラベル漏洩攻撃と比較して、性能面でどの程度優れているか？

主な発見

• ExPLoit は、MNIST、FashionMNIST、CIFAR-10、CIFAR-100、および Criteo のコンVERSION予測タスクを含む複数のデータセットで最大99.96％のラベル漏洩精度を達成した。
• 最近のラベル漏洩攻撃と比較して、漏洩精度が最大67.2％向上し、優れた有効性を示した。
• MNIST では、勾配ノイズ防御によりラベル漏洩精度が77％低下したが、テスト精度はわずか4％低下したため、単純なデータセットでは望ましいユーティリティ-プライバシーのトレードオフが得られた。
• CIFAR-10 や CIFAR-100 のような複雑なデータセットでは、同じ防御によりテスト精度が38％低下し、ラベル漏洩は79％減少したため、複雑なモデルには実用的でない。
• 勾配ノイズ防御は中間表現の品質を低下させ、K-Means やモデル補完などの他の攻撃の効果性を低下させるが、ExPLoit は複雑なデータセットでもより効果的である。
• UnSplit 攻撃でさえ、勾配ノイズを適用しても無効のままであり、ノイズがすべての攻撃ベクトルを完全に無効にしないことを示している。