[論文レビュー] FedCG: Leverage Conditional GAN for Protecting Privacy and Maintaining Competitive Performance in Federated Learning

Yuezhou Wu, Yan Kang+3 more|arXiv (Cornell University)|Nov 16, 2021

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

FedCGは、ローカル特徴抽出器をプライベートに保ちながら生成器を共有することで知識集約を実現する、フェデレーテッドラーニングの新規フレームワークを提案する。この手法は、競争力のあるモデル性能と、DLGなどの勾配逆転攻撃に対する強い耐性を達成しており、FedSplitより少なくとも2%の精度向上を実現しながら、低プライバシー漏洩（PSNR < 9 dB）を維持している。

ABSTRACT

Federated learning (FL) aims to protect data privacy by enabling clients to build machine learning models collaboratively without sharing their private data. Recent works demonstrate that information exchanged during FL is subject to gradient-based privacy attacks, and consequently, a variety of privacy-preserving methods have been adopted to thwart such attacks. However, these defensive methods either introduce orders of magnitude more computational and communication overheads (e.g., with homomorphic encryption) or incur substantial model performance losses in terms of prediction accuracy (e.g., with differential privacy). In this work, we propose $ extsc{FedCG}$, a novel federated learning method that leverages conditional generative adversarial networks to achieve high-level privacy protection while still maintaining competitive model performance. $ extsc{FedCG}$ decomposes each client's local network into a private extractor and a public classifier and keeps the extractor local to protect privacy. Instead of exposing extractors, $ extsc{FedCG}$ shares clients' generators with the server for aggregating clients' shared knowledge, aiming to enhance the performance of each client's local networks. Extensive experiments demonstrate that $ extsc{FedCG}$ can achieve competitive model performance compared with FL baselines, and privacy analysis shows that $ extsc{FedCG}$ has a high-level privacy-preserving capability. Code is available at https://github.com/yankang18/FedCG

研究の動機と目的

• 共有勾配が元の学習データを再構築できる可能性を有する勾配ベースのプライバシー攻撃（例：Deep Leakage from Gradients: DLG）に対するフェデレーテッドラーニングの脆弱性を是正すること。
• 現在のプライバシー保護手法の限界を克服すること：同型暗号化（コストが高すぎる）および微分プライバシー（顕著な精度損失を引き起こす）の代替となる手法を提供すること。
• 非IIDおよびIIDのデータ設定においても高いモデルパフォーマンスを維持しつつ、クライアントのプライベートデータおよびローカルモデルがサーバーから保護されることを保証すること。
• プライベートな特徴抽出とパブリックな分類を分離する新しいFLパラダイムを導入し、完全なモデルではなく生成器を共有することで、安全な知識共有を可能にすること。

提案手法

• 各クライアントのローカルニューラルネットワークを、ローカルに保持するプライベートな特徴抽出器と、サーバーと共有するパブリックな分類器に分解する。
• 各クライアントで条件付きGAN（cGAN）を訓練し、生成器がランダムノイズをクライアント固有のデータ分布にマッピングするように学習させ、識別器が現実的なサンプルの生成を保証する。
• 生データを直接処理するモデルの露出を避けるために、訓練済みの生成器とパブリック分類器のみをサーバーに共有する。
• 知識蒸留を用いて、サーバーでクライアントの生成器と分類器を集約し、ローカルパフォーマンスを向上させるグローバルモデルを構築する。
• グローバル生成器を用いて蒸留によりローカル学習をガイドすることで、プライベートデータや勾配を暴露せずにローカルモデルの精度を向上させる。
• DLG攻撃を用いたプライバシー評価プロトコルを適用し、元の画像と回復された画像の間の再構築品質（PSNR）を測定することで、プライバシー保護の強度を検証する。

Figure 1: Overview of FedCG .

実験結果

リサーチクエスチョン

• RQ1 勾配逆転攻撃（例：DLG）に対して強いプライバシー保護を実現しつつ、モデルパフォーマンスに悪影響を与えないフェデレーテッドラーニングシステムは可能か？
• RQ2 完全なモデルや勾配ではなく、条件付きGANの生成器を共有することで、データ再構築のリスクを低減しつつ、競争力のある精度を維持できるか？
• RQ3 DLG攻撃下でのモデル精度とプライバシー漏洩の両面において、FedCGはFedSplitおよびDP拡張FedAvgに比べてどのように差をつけるか？
• RQ4 共有された生成器からの知識蒸留は、標準的なFL手法が困難に感じる非IIDデータ設定において、ローカルモデルのパフォーマンスを向上させることができるか？
• RQ5 従来の防御手法（微分プライバシー、同型暗号化）と比較して、cGANベースのバイアス化手法を用いる場合の、プライバシーとパフォーマンスのトレードオフは何か？

主な発見

• FedCGは、CIFAR10、FMNIST、Officeの3つのデータセットにおいて、すべてでFedSplitを少なくとも2%以上上回る精度を達成し、OfficeデータセットではFedProxよりも最大4.35%の向上を記録した。
• FMNISTデータセットでは、IID設定下ですべてのベースライン中で最高の精度を達成し、優れた一般化能力を示した。
• 非IIDのシナリオにおいて、3つのデータセットのうち13人のクライアントの12人でローカル学習を上回った。これは、データの非独立同分布性を効果的に処理できていることを示している。
• プライバシー評価では、DLG攻撃下でCIFAR10ではPSNRが8.99 dB、DIGIT5では7.85 dB、Officeでは7.57 dBを記録した。これは、FedAvg（24.14–26.82 dB）と比較して顕著に低く、最小限のデータ再構築能力であることを示している。
• FedCGは、FedSplitと同等のプライバシー漏洩レベルを維持しながら、より高い精度を達成しており、高いプライバシー保護とパフォーマンスの両立を実現している。
• FedAvgに微分プライバシーを適用すると、CIFAR10では47.23%から35.4%に精度が20%以上低下した（例：47.23% → 35.4%）。一方、FedCGはこのような性能低下を回避しながら、より強いプライバシー保証を提供している。

Figure 2: Two-stage client update . (a) Classification network update. (b) Generative network update.