[論文レビュー] Cocktail Party Attack: Breaking Aggregation-Based Privacy in Federated Learning using Independent Component Analysis

Sanjay Kariyappa, Chuan Guo+5 more|arXiv (Cornell University)|Sep 12, 2022

Geophysical Methods and Applications被引用数 5

ひとこと要約

本稿では、フェデレーテッドラーニングにおける集約勾配からプライベートな入力を回復する新しい勾配逆転攻撃であるCocktail Party Attack（CPA）を提案する。この攻撃は、独立成分分析（ICA）を用いてブレインソースセパレーション問題として定式化することで、勾配の逆転を実現する。CPAは、最大1024の大きなバッチサイズでさえも、高品質な画像を回復でき、従来の手法を上回り、集約処理だけではフェデレーテッドラーニングにおけるプライバシーを保証しないことを示している。

ABSTRACT

Federated learning (FL) aims to perform privacy-preserving machine learning on distributed data held by multiple data owners. To this end, FL requires the data owners to perform training locally and share the gradient updates (instead of the private inputs) with the central server, which are then securely aggregated over multiple data owners. Although aggregation by itself does not provably offer privacy protection, prior work showed that it may suffice if the batch size is sufficiently large. In this paper, we propose the Cocktail Party Attack (CPA) that, contrary to prior belief, is able to recover the private inputs from gradients aggregated over a very large batch size. CPA leverages the crucial insight that aggregate gradients from a fully connected layer is a linear combination of its inputs, which leads us to frame gradient inversion as a blind source separation (BSS) problem (informally called the cocktail party problem). We adapt independent component analysis (ICA)--a classic solution to the BSS problem--to recover private inputs for fully-connected and convolutional networks, and show that CPA significantly outperforms prior gradient inversion attacks, scales to ImageNet-sized inputs, and works on large batch sizes of up to 1024.

研究の動機と目的

• フェデレーテッドラーニングにおける大バッチ勾配集約が意味のあるプライバシー保護を提供するとする仮定に挑戦すること。
• 従来の攻撃が失敗する大バッチサイズでも効果的に機能する実用的な勾配逆転攻撃を開発すること。
• 全結合層における集約勾配と入力の線形関係が、入力回復に有効に利用できることを示すこと。
• 埋め込み回復と特徴量逆転を用いて、畳み込みニューラルネットワークへの攻撃を拡張すること。
• CPAの有効性を従来の勾配マッチング攻撃と比較し、スケーラビリティと耐性を評価すること。

提案手法

• 全結合層からの集約勾配が、入力データサンプルの線形結合であるという洞察を活用する。
• 古典的なカクテルパーティー問題にインspiredされ、勾配逆転問題をブレインソースセパレーション（BSS）タスクとして定式化する。
• 独立成分分析（ICA）を用いて、混合された勾配から元の入力を回復するためのアンミックス行列を推定する。
• 最終全結合層からの各サンプルの埋め込みを回復することで、畳み込みネットワークへの攻撃を拡張する。
• 画像の平滑性などの画像事前分布に依存して、回復された埋め込みから入力画像を再構築する特徴量逆転技術を用いる。
• CPAを勾配マッチングと組み合わせることで、特に高次元設定において再構築品質をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 大バッチサイズであっても、集約勾配から勾配逆転攻撃がプライベートな入力を回復できるか？
• RQ2 全結合層における入力と集約勾配の線形関係が、入力再構築に利用可能か？
• RQ3 ICAベースの手法が、勾配マッチングベースの攻撃に比べて再構築品質とスケーラビリティにおいて優れているか？
• RQ4 CPAは、高次元入力を持つ大規模データセット（例：ImageNet）において効果的か？
• RQ5 CPAのバッチサイズと埋め込み次元数に関する限界は何か？また、それらをどのように緩和できるか？

主な発見

• CPAは、CIFAR-10、Tiny-ImageNet、ImageNetにおいて、最大1024のバッチサイズでも高品質な画像を集約勾配から回復できた。
• CPA＋特徴量逆転（CP+FI）のLPIPSスコアはバッチサイズ32で0.483であり、全テストバッチサイズで0.51未満を維持しており、一貫性のある性能を示した。
• CPA+FI+勾配マッチングにより、バッチサイズ32でLPIPSスコアが0.392に低下し、勾配マッチング単体（0.536）を上回り、再構築品質が向上した。
• 攻撃は効率的にスケーリング可能である：CPAのメモリフットプリントは入力次元に依存しないため、1024までのバッチサイズを処理でき、OOMエラーを発生させない。これに対して、勾配マッチングはバッチサイズ512で失敗する。
• ガウスノイズ（σ = 0.01）を用いた微分プライバシーは、CPAとGMの両方のLPIPSスコアを約0.72に低下させ、DPが有効な防御であることを示した。
• 攻撃者が入力データ分布の知識を持たなくても、平滑性などの標準的な画像事前分布に依存するだけで、攻撃は依然として有効であった。