[論文レビュー] Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective

Jingwei Sun, Ang Li+4 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 4被引用数 9

ひとこと要約

この論文は、フェデレーテッドラーニング（FL）におけるプライバシー侵害の根本的原因として、モデル勾配を介したデータ表現漏洩を特定し、データ表現を摂動させることで再構築されたデータの品質を低下させるが、FLモデルの精度を維持する、革新的な防御を提案する。DLGおよびGS攻撃下で、再構築済みデータと元のデータ間の平均二乗誤差（MSE）を160倍に増加させ、FedAvgにおける認証可能かつ収束保証付きの堅牢性を達成する。

ABSTRACT

Federated learning (FL) is a popular distributed learning framework that can reduce privacy risks by not explicitly sharing private data. However, recent works demonstrated that sharing model updates makes FL vulnerable to inference attacks. In this work, we show our key observation that the data representation leakage from gradients is the essential cause of privacy leakage in FL. We also provide an analysis of this observation to explain how the data presentation is leaked. Based on this observation, we propose a defense against model inversion attack in FL. The key idea of our defense is learning to perturb data representation such that the quality of the reconstructed data is severely degraded, while FL performance is maintained. In addition, we derive certified robustness guarantee to FL and convergence guarantee to FedAvg, after applying our defense. To evaluate our defense, we conduct experiments on MNIST and CIFAR10 for defending against the DLG attack and GS attack. Without sacrificing accuracy, the results demonstrate that our proposed defense can increase the mean squared error between the reconstructed data and the raw data by as much as more than 160X for both DLG attack and GS attack, compared with baseline defense methods. The privacy of the FL system is significantly improved.

研究の動機と目的

• フェデレーテッドラーニングにおけるプライバシー漏洩の根本的原因を特定すること、具体的には、モデル更新のみを共有する状況下でのデータ表現漏洩。
• FLモデルの有用性を維持しつつ、再構築されたデータの品質を低下させる防御機構を開発すること。
• この防御を適用した場合のFedAvgにおける認証可能かつ収束保証を提供すること。
• MNISTおよびCIFAR10における最先端の攻撃（DLGおよびGS）に対して、実験的に防御の有効性を検証すること。

提案手法

• 防御は、全結合（FC）層におけるデータ表現を摂動させることで、勾配から再構築されたデータが認識不能になるようにするが、モデルの性能は維持する。
• 摂動は、FLの有用性を保つために真のデータ表現との類似性を維持しつつ、再構築データとの類似性を最大限に低下させるように最適化される。
• 認証可能かつ堅牢性は、摂動が勾配ベースの逆方向攻撃に与える影響を分析することで導出される。
• 理論的に、防御を適用した場合のFedAvgの収束が保証され、学習の安定性が確保される。
• 特徴抽出能力を維持するため、畳み込み層への摂動は回避される。
• 防御は、パラメータの感度に基づく構造的プルーニングを用い、ランダムまたはグローバルプルーニングではない。

実験結果

リサーチクエスチョン

• RQ1 モデル更新のみを共有する状況下で、フェデレーテッドラーニングにおけるプライバシー漏洩の根本的原因は何か？
• RQ2 クラスごとのデータ表現はどのようにモデル勾配に埋め込まれ、モデル逆方向攻撃を可能にするのか？
• RQ3 データ表現の摂動は、FLモデルの精度に悪影響を与えることなく、再構築品質を著しく低下させることができるか？
• RQ4 このような防御を適用した場合、堅牢性および収束に関する理論的保証をどのように提供できるか？
• RQ5 実際の攻撃下において、プライバシーと有用性のトレードオフの観点から、既存手法と比較して防御はどのように優れているか？

主な発見

• トレーニング中に推定されたデータ表現と真のデータ表現の相関係数は0.99に達し、表現漏洩が根本的脆弱性であることを確認した。
• 提案された防御により、DLGおよびGS攻撃下で、再構築済みデータと元の画像間の平均二乗誤差（MSE）が、ベースライン防御と比較して160倍以上に増加した。
• 防御を適用してもモデルの精度は変化せず、ベースライン手法では類似のプライバシー水準を達成する際に最大9%の精度低下を示した。
• 人間が再構築画像を認識できなくなるMSE > 0.8の水準でも、防御は高い有用性を維持したが、ベースラインのプルーニング手法はこれを上回らなかった。
• FedAvgの収束は実験的に検証され、防御下での理論的収束保証が確認された。
• 知覚的評価では、防御下では50–60%のプルーニングで再構築画像が認識不能になる一方、GC防御では80%のプルーニングでもまだ認識可能な画像が得られた。