[論文レビュー] Defending against Reconstruction Attack in Vertical Federated Learning

Jiankai Sun, Yuanshun Yao+3 more|arXiv (Cornell University)|Jul 21, 2021

Privacy-Preserving Technologies in Data参考文献 24被引用数 10

ひとこと要約

本稿では、敵対的再構成、ノイズ正則化、距離相関最小化を組み合わせた、垂直フェデレーテッドラーニング（vFL）のための防御フレームワーク、DRAVLを提案する。この手法は、入力の再構成攻撃を効果的に低減しつつ、産業スケールの広告データセットにおいて高いモデル実用性を維持する。

ABSTRACT

Recently researchers have studied input leakage problems in Federated Learning (FL) where a malicious party can reconstruct sensitive training inputs provided by users from shared gradient. It raises concerns about FL since input leakage contradicts the privacy-preserving intention of using FL. Despite a relatively rich literature on attacks and defenses of input reconstruction in Horizontal FL, input leakage and protection in vertical FL starts to draw researcher's attention recently. In this paper, we study how to defend against input leakage attacks in Vertical FL. We design an adversarial training-based framework that contains three modules: adversarial reconstruction, noise regularization, and distance correlation minimization. Those modules can not only be employed individually but also applied together since they are independent to each other. Through extensive experiments on a large-scale industrial online advertising dataset, we show our framework is effective in protecting input privacy while retaining the model utility.

研究の動機と目的

• 共有された埋め込みから機密データを推測できる悪意あるアクティブ参加者が存在する垂直フェデレーテッドラーニング（vFL）における入力再構成攻撃の増加する懸念に対処する。
• vFL環境下でモデルパフォーマンスを損なわずに入力プライバシーを保護する防御フレームワークを開発する。
• 個別に使用可能であり、組み合わせて利用可能なモジュラーかつ独立したモジュールを設計し、再構成攻撃に対する耐性を強化する。
• 実世界の大規模産業データセットを用いてフレームワークを評価し、プライバシーと実用性の間の実用的効果とトレードオフを示す。

提案手法

• 攻撃者に対する再構成誤差を最大化するように訓練する被動参加者のモデルを学習する敵対的再構成モジュールを導入し、入力の回復を困難にする。
• トレーニング中にカット層の埋め込みにランダムノイズを追加することでノイズ正則化を適用し、攻撃者の最適化を無関係な方向へずらす。
• 元の入力とカット層の埋め込みの間の距離相関を最小化することで、統計的依存性を低減し、情報漏洩を制限する。
• 3つのモジュールを独立かつ合成可能に設計し、脅威モデルやプライバシー要件に応じた柔軟な展開を可能にする。
• 敵対的損失、ノイズ正則化項、距離相関項を統合した組み合わせ損失関数を用いて特徴抽出器を訓練する。
• ゲーム理論的視点から、防御者（被動参加者）がシミュレートされた攻撃者（敵対的再構成器）に対して訓練することで、再構成に対して耐性のあるモデルを強化する。

実験結果

リサーチクエスチョン

• RQ1 モジュラーかつ敵対的訓練に基づくフレームワークは、垂直フェデレーテッドラーニングにおける入力再構成攻撃に対して効果的に防御できるか？
• RQ2 個別に、および組み合わせて使用した場合に、敵対的再構成、ノイズ正則化、距離相関最小化の各モジュールは、プライバシー保護にどのように寄与するか？
• RQ3 vFLにおける再構成攻撃に対する防御において、入力プライバシーとモデル実用性のトレードオフはどのようなものか？
• RQ4 単純なノイズ摂動と比較して、提案されたフレームワークはプライバシー・ユーティリティのバランスと耐性において優れているか？
• RQ5 防御フレームワークは、入力と共有された埋め込みの相関を顕著に低下させつつ、高いモデルパフォーマンスを維持できるか？

主な発見

• DRAVLフレームワークは、元の入力とカット層の埋め込みの間の距離相関（dCor）を顕著に低減し、強力なプライバシー保護を示している。
• ベースラインモデルと比較して、DRAVLは入力再構成における平均二乗誤差（MSE）を低く抑え、攻撃者の成功確率が低下していることを示している。
• プライバシー制約が強くても、AUC値がベースラインとほぼ同等に保たれるなど、高いモデル実用性を維持している。
• 単純なガウスノイズ注入と比較して、DRAVLはより優れたプライバシー・ユーティリティのトレードオフを達成しており、dCorをより効果的に低減しつつモデルパフォーマンスを劣化させない。
• 3つのモジュールは個別に使用可能であり、組み合わせて使用した場合に最も優れた全体的なプライバシー保護が得られる。
• 実験的に、摂動ベースの防御におけるノイズ強度のチューニングはDRAVLフレームワークと比較してはるかに難易度が高く、DRAVLはより安定的かつ効果的な防御を提供している。