[論文レビュー] Auditing Privacy Defenses in Federated Learning via Generative Gradient Leakage

Zhuohang Li, Jiaxin Zhang+2 more|arXiv (Cornell University)|Mar 29, 2022

Privacy-Preserving Technologies in Data被引用数 8

ひとこと要約

本稿では、公開データセットからのGANベースの事前分布を活用することで、フェデレーテッドラーニングにおける劣化した勾配から高精細な画像を再構築する新規な攻撃手法である「生成的勾配漏洩（GGL）」を提案する。勾配フリー最適化と学習済みの画像多様体を組み合わせることで、Soteria や微分プライバシーなどの強力な防御に対しても、勾配ベースの手法に比べて優れた性能を発揮し、既存の防御にもかかわらず顕著なプライバシー漏洩を示している。

ABSTRACT

Federated Learning (FL) framework brings privacy benefits to distributed learning systems by allowing multiple clients to participate in a learning task under the coordination of a central server without exchanging their private data. However, recent studies have revealed that private information can still be leaked through shared gradient information. To further protect user's privacy, several defense mechanisms have been proposed to prevent privacy leakage via gradient information degradation methods, such as using additive noise or gradient compression before sharing it with the server. In this work, we validate that the private training data can still be leaked under certain defense settings with a new type of leakage, i.e., Generative Gradient Leakage (GGL). Unlike existing methods that only rely on gradient information to reconstruct data, our method leverages the latent space of generative adversarial networks (GAN) learned from public image datasets as a prior to compensate for the informational loss during gradient degradation. To address the nonlinearity caused by the gradient operator and the GAN model, we explore various gradient-free optimization methods (e.g., evolution strategies and Bayesian optimization) and empirically show their superiority in reconstructing high-quality images from gradients compared to gradient-based optimizers. We hope the proposed method can serve as a tool for empirically measuring the amount of privacy leakage to facilitate the design of more robust defense mechanisms.

研究の動機と目的

• フェデレーテッドラーニングにおける既存のプライバシー防御が、共有勾配からプライベートなトレーニングデータを再構築するのを十分に防げるかどうかを調査すること。
• 手作業で設計された事前分布が弱いため、ノイズや勾配劣化に弱い既存の勾配ベースの再構築攻撃の限界を是正すること。
• 深層生成モデルを強力な事前分布として活用することで、防御機構下でも画像品質と忠実度を向上させる、耐性のある再構築手法を開発すること。
• 現実的な劣化状況下でプライベート画像の再構築精度を測定することで、現在の防御のプライバシー漏洩リスクを実証的に監査すること。
• フェデレーテッドラーニングにおけるプライバシー保護メカニズムの有効性を評価・向上させるための実用的ツールを提供すること。

提案手法

• 自然画像多様体を強力な事前分布としてモデル化するため、事前学習済みのGAN（例：BigGAN）を活用する。
• 生成された画像と共有勾配の差を最小化するように、GANの潜在空間上で最適化することでプライベート画像を再構築する。
• 勾配劣化や防御変換によって生じる非凸的・非線形な損失関数の最適化を可能にするために、進化戦略やベイズ最適化などの勾配フリー最適化手法を採用する。
• 防御によって適用される特定の勾配変換（例：ノイズ注入、スパース化、プルーニング）を考慮した適応的損失関数を設計する。
• GANの潜在ベクトルを用いて、共有勾配と一致するが高品質な視覚的忠実度を保った画像を生成する。
• PSNR や LPIPS といった指標を用いて再構築品質を評価し、ベースラインの勾配ベース最適化手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーや勾配スパース化といった現代的なプライバシー防御によって劣化した勾配から、高精細なプライベート画像を再構築できるか？
• RQ2 手作業で設計された事前分布（例：全変動）と比較して、GANベースの事前分布は劣化勾配における情報損失をどれほど効果的に補うことができるか？
• RQ3 GANの潜在空間におけるノイズや変換を伴う勾配から画像を再構築する際、勾配フリー最適化は勾配ベース最適化を上回る性能を示すか？
• RQ4 クライアント側で適用された防御機構（例：Soteriaのプルーニングやノイズ注入）の種類に応じて、再構築品質にどの程度の影響が生じるか？
• RQ5 勾配マッチング目的関数の損失関数の形状を操作することでプライバシー漏洩を低減できるか？また、真の視覚的損失（LPIPS）の形状と比較してどうなるか？

主な発見

• GGLは、Soteria防御（プルーニングとノイズ注入）によって劣化した勾配からも、CelebA で20 dBを超えるPSNRを達成し、高精細な画像を再構築でき、ベースライン手法が失敗する状況でも成功を収めた。
• GANベースの事前分布を用いることで、手作業で設計された事前分布に比べて再構築品質が著しく向上し、顔貌特徴や性別識別といった微細なディテールの回復が可能になった。
• 勾配フリー最適化手法（例：ベイズ最適化）は、勾配ベース最適化に比べて優れた再構築性能を示し、局所最適解への収束を低減した。
• 微分プライバシーや勾配圧縮に対しても、GGLは性別や個人識別に必要な感受性の高い属性を露わにする画像を回復でき、継続的なプライバシー漏洩の兆候を示した。
• 勾配マッチング目的関数の損失関数の形状は、真の視覚的損失（LPIPS）とは一貫性がなく、勾配損失を最小化しても視覚的類似性が保証されない一方で、依然として顕著な情報漏洩を引き起こしていることが示唆された。
• 分布外の画像（例：ImageNetのサンプル）は、GANの学習分布外のため、劣悪な再構築品質を示し、GAN事前分布の限界が顕在化した。