[論文レビュー] Active Membership Inference Attack under Local Differential Privacy in Federated Learning

Truc Nguyen, Phung Lai+3 more|arXiv (Cornell University)|Feb 24, 2023

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本論文は、不正なサーバーがグローバルモデルの重みを操作することで、ターゲットデータがクライントのトレーニングデータセットに含まれているかどうかを推定する、フェデレーテッドラーニングにおける新しいアクティブなメンバーシップインファレンス（AMI）攻撃を提案する。悪意のあるパラメータを用いて非線形の意思決定境界を埋め込むことで、厳密なローカル微分プライバシー（LDP）保護下でも高い成功確率を達成し、形式的なプライバシー保証があるにもかかわらず深刻なプライバシーリスクを露呈する。

ABSTRACT

Federated learning (FL) was originally regarded as a framework for collaborative learning among clients with data privacy protection through a coordinating server. In this paper, we propose a new active membership inference (AMI) attack carried out by a dishonest server in FL. In AMI attacks, the server crafts and embeds malicious parameters into global models to effectively infer whether a target data sample is included in a client's private training data or not. By exploiting the correlation among data features through a non-linear decision boundary, AMI attacks with a certified guarantee of success can achieve severely high success rates under rigorous local differential privacy (LDP) protection; thereby exposing clients' training data to significant privacy risk. Theoretical and experimental results on several benchmark datasets show that adding sufficient privacy-preserving noise to prevent our attack would significantly damage FL's model utility.

研究の動機と目的

• LDP保護下でデータ特徴量の相関関係を十分に活用できない既存のメンバーシップインファレンス攻撃のギャップを埋める。
• 不正なサーバーがグローバルモデル重みを能動的に操作することでクライントのデータメンバーシップを推定する、新たな脅威モデルを形式化する。
• 特徴量の相関関係が攻撃に利用された場合、LDP保護がメンバーシップインファレンスを防げないことを実証する。
• フェデレーテッドラーニングにおけるモデルの有用性とプライバシー保護の根本的トレードオフを明らかにし、強いプライバシー保護がモデル性能を著しく低下させることを示す。
• LDP下でのAMI攻撃に対して、認証可能な成功保証を提供し、その実用的妥当性と深刻さを強調する。

提案手法

• 神経セルの活性化行動を制御できるように、非線形の意思決定境界をモデル重みに埋め込む悪意あるグローバルモデルを設計する。
• ターゲットデータサンプルと非ターゲットサンプルで顕著に異なる活性化パターンを示す特定のニューロンを標的とする。
• 検出を回避するため、1回のトレーニングイテレーション中に最小限の摂動で悪意ある重みをグローバルモデルに埋め込む。
• データ特徴量間の相関関係を活用し、LDPノイズ下でもターゲットサンプルが一貫して選択されたニューロンを活性化させることを保証する。
• カーネル密度推定（KDE）を用いて、ターゲットサンプルと非ターゲットサンプルの活性化分布の統計的分離を可視化・検証する。
• 活性化分布間の統計的乖離に基づき、攻撃の認証可能な成功保証を形式化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける不正なサーバーが、グローバルモデル重みを能動的に操作することで、高いメンバーシップインファレンスの成功確率を達成できるか？
• RQ2 特徴量の相関関係が攻撃に利用された場合、ローカル微分プライバシー（LDP）保護は、このようなアクティブなメンバーシップインファレンス攻撃をどの程度緩和できるか？
• RQ3 このAMI攻撃に対してLDPで防御を行う場合、モデルの有用性とプライバシー保護のトレードオフはどのようなものか？
• RQ4 統計的異常を根拠に、クライアントやシステムモニタが悪意あるモデル重みを検出できるか？
• RQ5 悪意ある重みに埋め込まれた非線形の意思決定境界は、LDP下でどのようにして信頼性の高いメンバーシップインファレンスを可能にするか？

主な発見

• 提案されたAMI攻撃は、小さなプライバシー予算（例：ε = 2, 3, 5）を有する厳密なLDP保護下でも、極めて高いメンバーシップインファレンスの成功確率を達成する。
• グローバルモデルパラメータへの変更が最小限で済み、1回のトレーニングイテレーションで実行可能である。
• カーネル密度推定の結果、ターゲットサンプルと非ターゲットサンプルの活性化分布の重なりが顕著に減少しており、認証可能な成功保証が確認された。
• プライバシー予算が十分に大きく、特徴量の相関関係が保持される場合、LDP保護はAMI攻撃に対して効果を示さない。これは、LDPのプライバシー保証を損なうものである。
• 攻撃を防ぐために十分なLDPノイズを追加すると、モデルの有用性が著しく低下する。これは、FL設計における重要なトレードオフを露呈する。
• 悪意ある重みは統計的に通常の重みと区別がつかず、重み分布の分析による検出は非現実的である。