[論文レビュー] Do Gradient Inversion Attacks Make Federated Learning Unsafe?

Ali Hatamizadeh, Hongxu Yin+9 more|arXiv (Cornell University)|Feb 14, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本論文は、医療画像におけるフェデレーテッドラーニング（FL）における勾配逆転攻撃の実用的リスクを調査し、実際のFLで一般的なトレーニング中にバッチ正規化（BN）統計が更新される状況では、このような攻撃がほとんど効果を持たないことを示している。本研究では、こうした現実的な条件を想定した新たなベースライン攻撃を提案するとともに、データ漏洩を定量化するための指標を提示し、微分プライバシー（DP）などの標準的なプライバシー保護技術が、顕著な精度損失を伴わずにリスクを効果的に軽減することを示している。

ABSTRACT

Federated learning (FL) allows the collaborative training of AI models without needing to share raw data. This capability makes it especially interesting for healthcare applications where patient and data privacy is of utmost concern. However, recent works on the inversion of deep neural networks from model gradients raised concerns about the security of FL in preventing the leakage of training data. In this work, we show that these attacks presented in the literature are impractical in FL use-cases where the clients' training involves updating the Batch Normalization (BN) statistics and provide a new baseline attack that works for such scenarios. Furthermore, we present new ways to measure and visualize potential data leakage in FL. Our work is a step towards establishing reproducible methods of measuring data leakage in FL and could help determine the optimal tradeoffs between privacy-preserving techniques, such as differential privacy, and model accuracy based on quantifiable metrics. Code is available at https://nvidia.github.io/NVFlare/research/quantifying-data-leakage.

研究の動機と目的

• フェデレーテッドラーニングにおける勾配逆転攻撃の現実的妥当性を、データプライバシーが極めて重要な医療分野の応用を念頭に評価すること。
• 特にトレーニング中に更新されるバッチ正規化（BN）統計を含む一般的なFL実装が、既存の勾配逆転攻撃を無効にすることを調査すること。
• 再現可能で定量化可能な方法を用いて、FLシステムにおけるデータ漏洩の測定と可視化を実現すること。
• 微分プライバシー（DP）やFedBNなどのプライバシー保護技術が、勾配逆転攻撃のリスクを軽減する効果を評価すること。
• FLの導入において、プライバシーとモデル精度の間の測定可能なトレードオフを確立する基盤を構築すること。

提案手法

• 著者らは、クライアント側のトレーニング中に更新されるBN統計を考慮した新たな勾配逆転攻撃を設計し、現実的なFLシナリオに適用可能であるようにしている。
• 再構成された勾配からのデータ漏洩を定量化するために、SSIM、IIP、相対的変化指標（RDLV）を用いた新規な可視化および測定フレームワークを導入している。
• 微分プライバシー（DP）の影響を評価するため、モデル更新にキャリブレートされたガウスノイズを適用し、DP-SGDと比較している。
• クライアントがBN統計を更新する「トレーニングモード」で動作するResNet-18を用いて、医療画像分類タスクで実験を行っている。
• 大規模バッチサイズと複数のローカルエポックを含む現実的な条件のもと、サーバー側およびクライアント側の勾配逆転攻撃を評価している。
• 再構成品質の分析には深層特徴埋め込みを用い、さまざまな攻撃および防御設定の間で結果を比較している。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化統計がトレーニング中に更新される現実的なフェデレーテッドラーニング環境では、勾配逆転攻撃がどの程度成功するか？
• RQ2 実際のFL展開において、モデル勾配からのデータ漏洩をどのように定量的に測定・可視化できるか？
• RQ3 微分プライバシーとFedBNは、実世界のFLシナリオにおける勾配逆転攻撃のリスク軽減にどの程度有効か？
• RQ4 大規模バッチサイズや複数のローカルトレーニングイテレーションといった一般的なFL実装が、勾配逆転攻撃のリスクを本質的に低減するか？
• RQ5 SSIM、IIP、RDLVといった定性的・定量的指標は、再構成画像におけるデータ漏洩を信頼性を持って検出または除外できるか？

主な発見

• クライアントがトレーニング中にバッチ正規化統計を更新する現実的なFL環境では、勾配逆転攻撃が失敗し、従来の攻撃は無効化される。
• 提案されたベースライン攻撃は、BN統計が更新されない場合にのみ訓練データを正常に回復できることから、BN更新動作が攻撃の実現可能性に重要な要因であることが明らかになった。
• キャリブレートされたガウスノイズを用いた微分プライバシー（DP）は、データ漏洩を顕著に低減するが、ノイズレベルが高くなるとモデル精度に顕著な劣化が生じる。
• DP-SGDは単純なDPよりも強い保護を提供するが、モデル性能へのコストが高いため、プライバシーと有用性の間のトレードオフが明確に示された。
• SSIMは高いがIIPスコアが低い再構成画像には、識別可能な情報や意味的な意味を持つ情報が含まれていないため、高い類似度指標にもかかわらず、実際のデータ漏洩は限定的であることが示唆された。
• 本研究では、SSIMのような既存の指標が誤解を招く可能性があることが判明した。深層特徴に基づく類似度測定は、データ漏洩リスクのより信頼性の高い評価を可能にする。