[論文レビュー] Label Leakage and Protection from Forward Embedding in Vertical Federated Learning

Jiankai Sun, Xin Yang+2 more|arXiv (Cornell University)|Mar 2, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿は、垂直フェデレーテッドラーニング（vFL）におけるフォワード中間埋め込みからのラベル漏洩を特定し、それを緩和する。既存の勾配ベースの保護がある中でも、プライベートラベルを推定可能なスペクトラルアタックを提案する。ラベル側での埋め込みとラベルの間の距離相関を最小化する防御を導入し、攻撃のAUCを約0.5に低下させる一方で、モデルの有用性を維持する。

ABSTRACT

Vertical federated learning (vFL) has gained much attention and been deployed to solve machine learning problems with data privacy concerns in recent years. However, some recent work demonstrated that vFL is vulnerable to privacy leakage even though only the forward intermediate embedding (rather than raw features) and backpropagated gradients (rather than raw labels) are communicated between the involved participants. As the raw labels often contain highly sensitive information, some recent work has been proposed to prevent the label leakage from the backpropagated gradients effectively in vFL. However, these work only identified and defended the threat of label leakage from the backpropagated gradients. None of these work has paid attention to the problem of label leakage from the intermediate embedding. In this paper, we propose a practical label inference method which can steal private labels effectively from the shared intermediate embedding even though some existing protection methods such as label differential privacy and gradients perturbation are applied. The effectiveness of the label attack is inseparable from the correlation between the intermediate embedding and corresponding private labels. To mitigate the issue of label leakage from the forward embedding, we add an additional optimization goal at the label party to limit the label stealing ability of the adversary by minimizing the distance correlation between the intermediate embedding and corresponding private labels. We conducted massive experiments to demonstrate the effectiveness of our proposed protection methods.

研究の動機と目的

• vFLにおける中間埋め込みが勾配ベースの保護がある中でも、プライベートラベルを漏洩する可能性を特定すること。
• ラベル微分プライバシーと勾配ノイズの適用があっても、スペクトラルアタックを用いてフォワード埋め込みからラベル推定が可能であることを実証すること。
• ラベル側でのカット層埋め込みと対応するプライベートラベルの間の距離相関を最小化する、新たな防御を提案すること。
• 既存の勾配ベースのプライバシー手法と併用可能な防御の有効性と適合性を評価すること。

提案手法

• 二者間vFLにおける共有フォワード中間埋め込みからプライベートラベルを推定するスペクトラルアタック手法を提案する。
• ラベル側での追加最適化目的関数を導入し、カット層埋め込みと対応するプライベートラベルの間の距離相関を最小化する。
• 距離相関を微分可能指標として用い、埋め込みとラベルの統計的依存度を定量化・低減する。
• 正則化項の強度を制御するハイパーパrameter αd を導入し、プライバシーとモデル有用性のバランスを取る。
• Marvell（勾配ノイズ）やLabel DPといった既存防御と組み合わせて、本手法の適合性を検証する。
• 実世界のデータセットを用いた広範な実験により、攻撃の成功度と防御の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの保護が適用されていても、vFLにおけるフォワード中間埋め込みからプライベートラベルを効果的に推定できるか？
• RQ2 中間埋め込みとプライベートラベルの相関が、ラベル漏洩を可能にする役割を果たすか？
• RQ3 モデル有用性を損なわせることなく、ラベル側がフォワード埋め込みからのラベル漏洩リスクを最小化する方法は何か？
• RQ4 提案された防御は、既存の勾配ベースのプライバシー機構と効果的に組み合わせられるか？
• RQ5 正則化の強度を変化させた場合、モデル有用性とプライバシー保護のトレードオフはどのように変化するか？

主な発見

• スペクトラルアタックは、セキュリティのない埋め込みに対してほぼ1.0に近いラベル推定AUCを達成し、プライベートラベルの盗難に非常に効果的であることを示した。
• αd = 0.002のとき、提案防御により攻撃AUCが約0.5（ランダム推測レベル）に低下し、強力なプライバシー保護が実現された。
• αd = 0.002のとき、テストAUCでアンダーラインモデルとほぼ同等（差異0.01以内）のモデル有用性が維持され、性能劣化が最小限に抑えられた。
• Marvellのような勾配ノイズ手法と併用可能であり、フォワード埋め込みおよび勾配ベースのラベル漏洩の両方に対する保護が同時に達成された。
• 感度分析の結果、αd ∈ [0.002, 0.005] の範囲で、プライバシー（AUC ≈ 0.5）とモデル有用性（テストAUCはほぼ変化なし）の良好なトレードオフが得られた。
• プライバシーのコストとして、相関の低減に伴いラベル側での計算負荷が増加するが、これは管理可能な範囲であった。