[論文レビュー] Exploring Private Federated Learning with Laplacian Smoothing.

Zhicong Liang, Bao Wang+3 more|arXiv (Cornell University)|May 1, 2020

Privacy-Preserving Technologies in Data参考文献 35被引用数 8

ひとこと要約

本稿では、ノイズを注入した集約処理中にラプラス平滑化を適用することで、モデルの有効性を向上させる、新たな微分プライバシー付きフェデレーテッドラーニング手法であるDP-Fed-LSを提案する。パラメータ平均化における統計的精度を向上させることで、均等サブサンプリングおよびポissonサブサンプリングの両方において、MNIST、SVHN、Shakespeareデータセットで、微分プライバシーの保証を損なわずに、よりきついプライバシー境界と高い精度を達成する。

ABSTRACT

Federated learning aims to protect data privacy by collaboratively learning a model without sharing private data among users. However, an adversary may still be able to infer the private training data by attacking the released model. Differential privacy(DP) provides a statistical guarantee against such attacks, at a privacy of possibly degenerating the accuracy or utility of the trained models. In this paper, we apply a utility enhancement scheme based on Laplacian smoothing for differentially-private federated learning (DP-Fed-LS), where the parameter aggregation with injected Gaussian noise is improved in statistical precision. We provide tight closed-form privacy bounds for both uniform and Poisson subsampling and derive corresponding DP guarantees for differential private federated learning, with or without Laplacian smoothing. Experiments over MNIST, SVHN and Shakespeare datasets show that the proposed method can improve model accuracy with DP-guarantee under both subsampling mechanisms.

研究の動機と目的

• 微分プライバシー下でのフェデレーテッドラーニングにおけるプライバシーとモデル有効性のトレードオフを解消すること。
• ガウスノイズを注入した際のモデル集約における統計的精度を向上させること。
• 均等サブサンプリングおよびポアソンサブサンプリングの両方において、タイトな閉形式のプライバシー境界を導出すること。
• ラプラス平滑化が微分プライバシー保証を維持したままモデルの精度に与える影響を評価すること。
• MNIST、SVHN、Shakespeareを含む多様なベンチマークデータセットにおいて、提案手法の有効性を示すこと。

提案手法

• フェデレーテッドラーニングの集約段階において、モデルパラメータにラプラス平滑化を適用することで統計的精度を向上させる。
• 微分プライバシーを満たすために、感度解析に基づいて調整されたノイズを含むガウスノイズを集約プロセスに統合する。
• 均等サブサンプリングおよびポアソンサブサンプリング戦略の両方において、高度な集中不等式を用いて閉形式のプライバシー境界を導出する。
• モデル更新の集約前にラプラス平滑化を適用することで、分散を低減し、推定精度を向上させる。
• 均等サブサンプリングおよびポアソンサブサンプリングの両方をサポートし、フェデレーテッド環境における柔軟で効率的なクライアント選択を可能にする。
• 高度なDP解析を用いて、両方のサブサンプリングメカニズムにおいて、形式的なプライバシー保証を導出し、厳密な理論的境界を保証する。

実験結果

リサーチクエスチョン

• RQ1 ラプラス平滑化は、ガウスノイズ注入下での微分プライバシー付きフェデレーテッドラーニングにおける統計的精度をどのように向上させるか？
• RQ2 均等サブサンプリングおよびポアソンサブサンプリングの両方において、DP-Fed-LSの最良の閉形式プライバシー境界は何か？
• RQ3 ラプラス平滑化は、微分プライバシーを損なわず、フェデレーテッドラーニングにおけるモデル精度をどの程度向上させるか？
• RQ4 プライバシー制約下で、MNIST、SVHN、Shakespeareなどの多様なデータセットにおいて、本手法はどのように性能を発揮するか？
• RQ5 ラプラス平滑化の統合は、標準的なDP-Fed手法と比較して、より優れた有効性-プライバシートレードオフを実現できるか？

主な発見

• 同じプライバシー予算下で、MNIST、SVHN、Shakespeareデータセットにおいて、ベースラインのDP-Fed手法と比較して、提案手法DP-Fed-LSがより高いモデル精度を達成した。
• 均等サブサンプリングおよびポアソンサブサンプリングの両方において、タイトな閉形式のプライバシー境界が導出され、アプローチの理論的厳密性が向上した。
• ラプラス平滑化は、ノイズを注入したモデル集約における統計的精度を顕著に向上させ、パラメータ更新の分散を低減した。
• 有効性を向上させつつも、強力な微分プライバシー保証を維持しており、望ましいプライバシー-精度トレードオフを示した。
• 実験により、ラプラス平滑化による有効性の向上が、多様なデータ分布およびモデルアーキテクチャにわたり一貫して確認された。
• 結果から、ラプラス平滑化と微分プライバシーの組み合わせにより、プライバシーに配慮した環境におけるより効果的なフェデレーテッドラーニングが可能になることが示された。