[論文レビュー] A Framework for Evaluating Gradient Leakage Attacks in Federated Learning

Wenqi Wei, Ling Liu+5 more|arXiv (Cornell University)|Apr 22, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用数 98

ひとこと要約

本論文は、勾配漏えい攻撃が連合学習におけるプライベートな学習データをどのように再構成するかを評価するための原理に基づく枠組みを提示し、ハイパーパラメータと圧縮設定全体での攻撃の有効性・コスト・緩和策を分析します。

ABSTRACT

Federated learning (FL) is an emerging distributed machine learning framework for collaborative model training with a network of clients (edge devices). FL offers default client privacy by allowing clients to keep their sensitive data on local devices and to only share local training parameter updates with the federated server. However, recent studies have shown that even sharing local parameter updates from a client to the federated server may be susceptible to gradient leakage attacks and intrude the client privacy regarding its training data. In this paper, we present a principled framework for evaluating and comparing different forms of client privacy leakage attacks. We first provide formal and experimental analysis to show how adversaries can reconstruct the private local training data by simply analyzing the shared parameter update from local training (e.g., local gradient or weight update vector). We then analyze how different hyperparameter configurations in federated learning and different settings of the attack algorithm may impact on both attack effectiveness and attack cost. Our framework also measures, evaluates, and analyzes the effectiveness of client privacy leakage attacks under different gradient compression ratios when using communication efficient FL protocols. Our experiments also include some preliminary mitigation strategies to highlight the importance of providing a systematic attack evaluation framework towards an in-depth understanding of the various forms of client privacy leakage threats in federated learning and developing theoretical foundations for attack mitigation.

研究の動機と目的

• 連合学習におけるクライアントのプライバシー漏洩に対する正式な脅威モデルを定義する。
• FL構成全体で攻撃の有効性とコストを定量化する評価枠組みを提案する。
• 攻撃設定とFLのハイパーパラメータが再構成の成功と効率にどのように影響するかを分析する。
• 予備的な緩和戦略を探求し、体系的な攻撃評価の必要性を強調する。

提案手法

• CPL (client privacy leakage) 攻撃を、共有更新からの勾配ベースデータ再構成として正式に特徴付ける。
• 重みの更新を勾配に変換し、ダミー種(seed)と勾配損失最小化を用いてプライベートデータを反復的に再構成する攻撃パイプライン（Algorithm 1）を開発する。
• ASRと収束性への影響を評価するため、攻撃初期化方法、終了条件、勾配損失関数、および最適化戦略を調査する。
• 攻撃成否とコストに対するFLのハイパーパラメータ（バッチサイズ、データ解像度、活性化関数）および通信プロトコル（ベースライン対圧縮）の影響を検討する。
• 再構成品質と効率を定量化するため、攻撃成功率（ASR）、MSE、SSIM、攻撃反復回数を含む評価指標を提案する。

実験結果

リサーチクエスチョン

• RQ1 勾配漏えい攻撃は、FLにおける共有更新からプライベートな学習データをどのように再構成できるか。
• RQ2 攻撃設定（初期種(seed)、終了条件、損失関数、最適化手法）が攻撃の成功と効率にどのように影響するか。
• RQ3 FLのハイパーパラメータ（バッチサイズ、データ解像度、活性化関数）がCPL攻撃の有効性とコストにどう影響するか。
• RQ4 通信効率の高いプロトコルが勾配漏えい攻撃の実行可能性に与える影響は何か。

主な発見

• CPL攻撃は、複数のデータセットに渡って勾配更新から高いASRと高い再構成品質を持ってプライベートな学習データを再構成できる。
• 攻撃の有効性と収束性は初期化方法、終了条件、最適化戦略に大きく敏感であり、パターン化された初期化がランダムなものを上回ることが多い。
• L-BFGSなどの最適化手法は攻撃の成功と効率に著しく影響を与えることがあり、いくつかの構成はより速い収束をもたらす。
• 通信効率の高い勾配更新はCPL攻撃を必ずしも防ぐわけではなく、特定の圧縮比においてCPLは依然有効である。
• 活性化関数は勾配漏えいに影響を与え、ReLUは死んだ勾配により攻撃を妨げる可能性がある一方、Sigmoid/Tanhは影響しない。
• 従来の攻撃と比べ、CPL-パターンは複数のデータセットでより高いASRを、より少ない攻撃反復回数で達成する。