[論文レビュー] Differentially Private Federated Learning with Laplacian Smoothing

Zhicong Liang, Wang Bao+3 more|arXiv (Cornell University)|May 1, 2020

Privacy-Preserving Technologies in Data参考文献 68被引用数 9

ひとこと要約

本稿では、プライバシー予算を増大させることなくモデルの有効性を向上させるためにラプラシアンスムージングを適用する、微分プライバシー準拠のフェデレーテッドラーニングフレームワークであるDP-Fed-LSを提案する。グラフフーリエドメインにおける集約勾配の滑らかさを活用することで、この手法はプライバシーが厳しく制限される状況下でも分散を低減し、収束速度を向上させる。均一およびポアソンサブサンプリングの両方の設定において、MNIST、SVHN、Shakespeareデータセットで高い精度を達成している。

ABSTRACT

Federated learning aims to protect data privacy by collaboratively learning a model without sharing private data among users. However, an adversary may still be able to infer the private training data by attacking the released model. Differential privacy provides a statistical protection against such attacks at the price of significantly degrading the accuracy or utility of the trained models. In this paper, we investigate a utility enhancement scheme based on Laplacian smoothing for differentially private federated learning (DP-Fed-LS), where the parameter aggregation with injected Gaussian noise is improved in statistical precision without losing privacy budget. Our key observation is that the aggregated gradients in federated learning often enjoy a type of smoothness, i.e. sparsity in the graph Fourier basis with polynomial decays of Fourier coefficients as frequency grows, which can be exploited by the Laplacian smoothing efficiently. Under a prescribed differential privacy budget, convergence error bounds with tight rates are provided for DP-Fed-LS with uniform subsampling of heterogeneous Non-IID data, revealing possible utility improvement of Laplacian smoothing in effective dimensionality and variance reduction, among others. Experiments over MNIST, SVHN, and Shakespeare datasets show that the proposed method can improve model accuracy with DP-guarantee and membership privacy under both uniform and Poisson subsampling mechanisms.

研究の動機と目的

• プライバシー保護のためのノイズ注入に起因する有効性の低下を是正すること。
• 同じ微分プライバシー予算下で、集約勾配における構造的滑らかさを活用することでモデル精度を向上させること。
• 均一およびポアソンサブサンプリング機構下でのDP-Fed-LSに対するよりタイトなプライバシーおよび収束境界を確立すること。
• ラプラシアンスムージングが、IIDおよびNon-IIDデータ設定の両方で分散低減と一般化性能向上に有効であることを示すこと。
• 非プライベートフェデレーテッドラーニングおよび集中型DP-ERMと同等の理論的収束速度を確立すること。

提案手法

• 微分プライバシーのためのノイズ注入後に得られる勾配を集約するフェデレーテッドアベーリージングプロセスに、ラプラシアンスムージングを導入する。
• グラフフーリエ基底における集約勾配の滑らかさ（係数の多項式的減衰を伴うスパarsity）を、推定分散の低減に向けた構造的事前分布として活用する。
• 均一およびポアソンサブサンプリングの両方に対して、従来の結果よりもタイトな閉形式のプライバシー境界を導出する。これにより、従来の仮定を緩和できる。
• 強凸、一般凸、非凸の設定において収束誤差境界を確立し、非プライベートおよび集中型DP-ERMのベースラインと同等の収束レートを達成する。
• フーリエドメインにおける滑らかさと分散低減を定量化するために、有効次元 $ d_{\rho} = \sum_{i=1}^{d} \Lambda_i $ および $ \tilde{d}_{\rho} = \sum_{i=1}^{d} \Lambda_i^2 $ を用いる。
• 適応的学習率とサブサンプリングを組み合わせた修正された確率的勾配降下法を採用し、プライバシー、収束、有効性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ラプラシアンスムージングは、プライバシーを損なわせることなく、微分プライバシー準拠フェデレーテッドラーニングにおける分散を低減できるか？
• RQ2 グラフフーリエドメインにおける集約勾配の滑らかさは、有効に分散低減と有効性向上を実現できるか？
• RQ3 サブサンプリングされたDP-Fedに対して、よりタイトなプライバシー境界を導出でき、従来の仮定を緩和できるか？
• RQ4 同じプライバシー予算下で、DP-Fed-LSの収束レートは非プライベートおよび集中型DP-ERMと一致するか？
• RQ5 提案手法は、IIDおよびNon-IIDデータ分布の両方でモデル精度を向上させつつ、メンバー情報のプライバシーを維持できるか？

主な発見

• 提案されたDP-Fed-LS手法は、均一およびポアソンサブサンプリングの両方の設定において、同じ $(\varepsilon, \delta)$-DPの保証を維持しながら、MNIST、SVHN、Shakespeareデータセットでモデル精度を向上させた。
• 強凸問題では、期待される最適化誤差が $ \tilde{\mathcal{O}}\left(\frac{(\varsigma^{2}(\sigma)/K + (1-\tau)G^{2} + d_{\sigma})L^{2}\log(1/\delta)}{\mu_{\sigma}\varepsilon^{2}N^{2}}\right) $ で有界であり、プライバシーパラメータへの依存性が改善されていることが示された。
• 一般凸設定では、誤差境界は $ \frac{\sqrt{(\varsigma^{2}(\sigma)/K + 4(1-\tau)G^{2} + d_{\sigma})D_{\sigma}L^{2}\log(1/\delta)}}{\varepsilon N} $ に比例し、有効次元 $ d_{\sigma} $ が滑らかさの恩恵を捉えている。
• 非凸問題では、期待される勾配ノルムが $ \frac{\sqrt{(\varsigma^{2}(\sigma)/K + 4(1-\tau)G^{2} + \tilde{d}_{\sigma})F_{0}\beta L^{2}\log(1/\delta)}}{\varepsilon N} $ で有界であり、滑らかさによる有効性の向上が実証された。
• 収束レートは非プライベートフェデレーテッドラーニングおよび集中型DP-ERMと一致しており、漸近的効率に損失がないことが示された。
• 実験により、ラプラシアンスムージングがノイズの影響を低減し、特にShakespeareデータセットのようなNon-IID設定において一般化性能を向上させることを確認した。プライバシー予算の増加なしに実現された。