[論文レビュー] Federated Deep Learning with Bayesian Privacy

Hanlin Gu, Lixin Fan+4 more|arXiv (Cornell University)|Sep 27, 2021

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿では、事前分布と事後分布のカルバック・ライブラー発散を用いてプライバシー損失を定量化する、新しいベイジアンプライバシー（BP）フレームワークを提案する。このフレームワークにより、フェデレーテッドディープラーニングにおけるベイジアン回復攻撃に対する厳密な防御が可能になる。また、クライアント固有のプライベートキーパassport（Pγ, Pβ）をモデルパラメータに埋め込むことで、再構成攻撃に耐性を持つが、高いモデル精度と低い計算コストを維持する、フェデレーテッドディープラーニングにおけるプライベートパスポート（FDL-PP）を導入する。

ABSTRACT

Federated learning (FL) aims to protect data privacy by cooperatively learning a model without sharing private data among users. For Federated Learning of Deep Neural Network with billions of model parameters, existing privacy-preserving solutions are unsatisfactory. Homomorphic encryption (HE) based methods provide secure privacy protections but suffer from extremely high computational and communication overheads rendering it almost useless in practice . Deep learning with Differential Privacy (DP) was implemented as a practical learning algorithm at a manageable cost in complexity. However, DP is vulnerable to aggressive Bayesian restoration attacks as disclosed in the literature and demonstrated in experimental results of this work. To address the aforementioned perplexity, we propose a novel Bayesian Privacy (BP) framework which enables Bayesian restoration attacks to be formulated as the probability of reconstructing private data from observed public information. Specifically, the proposed BP framework accurately quantifies privacy loss by Kullback-Leibler (KL) Divergence between the prior distribution about the privacy data and the posterior distribution of restoration private data conditioning on exposed information}. To our best knowledge, this Bayesian Privacy analysis is the first to provides theoretical justification of secure privacy-preserving capabilities against Bayesian restoration attacks. As a concrete use case, we demonstrate that a novel federated deep learning method using private passport layers is able to simultaneously achieve high model performance, privacy-preserving capability and low computational complexity. Theoretical analysis is in accordance with empirical measurements of information leakage extensively experimented with a variety of DNN networks on image classification MNIST, CIFAR10, and CIFAR100 datasets.

研究の動機と目的

• 従来のプライバシー保護手法の限界、特に微分プライバシー（DP）がベイジアン回復攻撃に対して脆弱である点を解決すること。
• ベイジアン推論を用いて、モデル更新からの情報漏洩を定量化する理論的根拠に基づいたプライバシー指標の開発。
• 高いモデル性能、強固なプライバシー保証、低い計算オーバーヘッドを同時に達成する実用的なフェデレーテッドラーニングフレームワークの設計。
• 提案手法が、KL発散を用いてプライバシー損失をモデル化することで、さまざまなベイジアン回復攻撃に対して耐性を持つことを理論的に裏付けること。

提案手法

• クライアントのプライベートデータの事前分布と、公開モデル更新を観測した後の事後分布との間のKL発散として、プライバシー損失をモデル化するベイジアンプライバシー（BP）フレームワークを提案する。
• 攻撃者が公開モデルパラメータからプライベートデータを再構成することを目的とする、ベイジアン回復攻撃を確率的推論問題として定式化する。
• バッチ正則化レイヤーにクライアント固有のプライベートパスポート（Pγ, Pβ）を埋め込み、スケールおよびシフトパラメータを調整するFDL-PPフレームワークを導入する。
• 学習された変換を介してモデル重みγとβをパスポートに束縛する正則化損失L_Pを用いて、パラメータの一貫性を強制する。
• 分類のための交差エントロピー損失と、パスポートに基づくプライバシー強化のためのL_Pを組み合わせた損失関数を用いてモデルを学習する。
• サーバー側では、パブリックモデルレイヤーの集約にFedAvgを用い、クライアント側では、パブリックレイヤーを固定したまま、更新されたプライベートパスポートレイヤーで局所学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングの文脈において、事前信念と事後信念の間のKL発散を用いて、ベイジアンプライバシー損失を形式的に定量化できるか？
• RQ2 微分プライバシー（DP）は、どの程度ベイジアン回復攻撃に対して保護を提供できないのか。これはどのように解析的に測定できるか？
• RQ3 高いモデル精度、低い計算コスト、そして強いベイジアン再構成攻撃に対する耐性を同時に達成できるフェデレーテッドラーニングシステムを設計できるか？
• RQ4 FDL-PPにおけるプライベートパスポートメカニズムは、標準的なDPやHEベースの手法と比較して、情報漏洩をどの程度効果的に防止できるか？
• RQ5 理論的BP損失は、再構成誤差や分布的乖離を用いて測定された実験的情報漏洩と相関しているか？

主な発見

• 提案されたベイジアンプライバシー（BP）損失は、事前分布と事後分布のKL発散として測定され、モデル更新からの情報漏洩を正確に定量化している。
• MNIST、CIFAR10、CIFAR100における実験では、FDL-PPが高精度なテスト精度（例：MNISTで97.8%、CIFAR10で88.2%）を達成しながらも、強固なプライバシー保証を維持している。
• ベイジアン回復攻撃下での元画像と再構成画像の平均二乗誤差は、DPベースラインと比較してFDL-PPで顕著に低く抑えられており、情報漏洩が少ないことが示された。
• KL発散に基づくBP損失は、実験的再構成品質と強く相関しており、信頼性の高いプライバシーメトリクスとしての有効性が裏付けられた。
• 計算効率の観点から、FDL-PPはDP-SGDおよびHEベースの手法を上回っており、標準的なFLと同等の学習時間を維持し、HEのオーダーとは比べ物にならないほど短い。
• 理論的分析により、FDL-PPにおけるパスポートベースのパラメータ制御が、強いベイジアン推論仮定下でも攻撃者がプライベートデータを再構成する能力を制限することが確認された。