[論文レビュー] Batch Label Inference and Replacement Attacks in Black-Boxed Vertical Federated Learning

Yang Liu, Tianyuan Zou+5 more|arXiv (Cornell University)|Dec 10, 2021

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

この論文は、ホモモルフィック暗号（HE）を用いて保護された黒ボックス型縦型フェデレーテッドラーニング（VFL）においても、バッチ平均勾配の逆方向推定を用いることで、バッチレベルのラベル推定および置換攻撃が可能であることを明らかにしている。本稿では、エントロピー正則化を施したオートエンコーダーを用いる防御手法であるConfusional Autoencoder（CoAE）を提案し、主タスクの精度を著しく維持しながら、これらの攻撃を遮断する。微分プライバシー や勾配スパース化に比べて、主タスクの精度をより良く保つ。

ABSTRACT

In a vertical federated learning (VFL) scenario where features and model are split into different parties, communications of sample-specific updates are required for correct gradient calculations but can be used to deduce important sample-level label information. An immediate defense strategy is to protect sample-level messages communicated with Homomorphic Encryption (HE), and in this way only the batch-averaged local gradients are exposed to each party (termed black-boxed VFL). In this paper, we first explore the possibility of recovering labels in the vertical federated learning setting with HE-protected communication, and show that private labels can be reconstructed with high accuracy by training a gradient inversion model. Furthermore, we show that label replacement backdoor attacks can be conducted in black-boxed VFL by directly replacing encrypted communicated messages (termed gradient-replacement attack). As it is a common presumption that batch-averaged information is safe to share, batch label inference and replacement attacks are a severe challenge to VFL. To defend against batch label inference attack, we further evaluate several defense strategies, including confusional autoencoder (CoAE), a technique we proposed based on autoencoder and entropy regularization. We demonstrate that label inference and replacement attacks can be successfully blocked by this technique without hurting as much main task accuracy as compared to existing methods.

研究の動機と目的

• HE保護付きの黒ボックス型VFLにおいて、バッチ平均勾配からプライベートラベルが再構築可能かどうかを調査すること。
• 個々のサンプルの勾配にアクセスしない、補助データを用いない状況でも、勾配置換型バックドア攻撃が可能かどうかを実証すること。
• 主タスクの性能を著しく低下させることなく、ラベル推定および置換攻撃を防止する実用的な防御機構を開発すること。
• オートエンコーダーとエントロピー正則化に基づく新規防御手法CoAEを、これらの攻撃に対して評価すること。

提案手法

• バッチ平均勾配を用いてトレーニングされた勾配逆方向推定モデルを提案し、高い精度でプライベートラベルを再構築することを実現。
• 攻撃者がバッチレベル通信におけるラベルを置換することで、暗号化された勾配を操作し、バックドアを注入する「勾配置換攻撃」を導入。
• 真のラベルをエントロピー正則化により「曇らせる」柔らかく混乱したラベルにマッピングするオートエンコーダーを用いたConfusional Autoencoder（CoAE）を設計。
• ブラックボックスVFLプロトコルに従い、信頼できる第三者機関（TTP）を介したランダムマスキングと復号を適用し、訓練中のプライバシーを保護。
• ラベルの予測可能性を低下させるために、損失関数にエントロピー正則化を組み込む。
• CoAEを、ラベル推定攻撃およびバックドア攻撃の両状況で評価し、微分プライバシーおよび勾配スパース化と比較。

実験結果

リサーチクエスチョン

• RQ1 HE保護付きのブラックボックス型VFLシステムにおいて、バッチ平均勾配からプライベートラベルを高精度で再構築可能か？
• RQ2 個々のサンプルの勾配にアクセスしない状況でも、暗号化された勾配を置換することで、効果的なバックドア攻撃が可能か？
• RQ3 CoAEは、主タスクの精度を著しく損なわず、ラベル推定および置換攻撃を効果的にブロックできるか？
• RQ4 曇らせる強度とエントロピー正則化の影響は、勾配逆方向推定攻撃に対するCoAEの耐性にどのように寄与するか？

主な発見

• 複数のデータセットで、HE保護下でもバッチ平均勾配のみを用いて、90%を超える精度でラベル推定攻撃が達成された。
• 個々のサンプルの勾配にアクセスせず、補助データを用いなくても、暗号化されたバッチレベル勾配を操作することでバックドアが効果的に注入された。
• CoAE防御により、ラベル回復精度がほぼランダムレベルまで低下し、推定攻撃が効果的に遮断された。また、微分プライバシーおよび勾配スパース化に比べ、主タスクの精度を著しく高く維持した。
• エントロピー正則化（λ₂ = 1）を適用した場合、復元されたラベルの確率分布が広がり、攻撃者がサンプルを真のクラスに一意にマッピングできなくなった。
• 小さなトリガーを用いた分散型バックドア攻撃に対しても、CoAEは効果的であり、防御下でも主タスクの精度を高い水準で維持した。
• 曇らせる機能を無効化した場合（λ₂ = 0）、CoAEは攻撃を遮断できず、エントロピー正則化が効果的な曇らせを実現するために不可欠であることが確認された。