[論文レビュー] DP-LSSGD: A Stochastic Optimization Method to Lift the Utility in Privacy-Preserving ERM

Bao Wang, Quanquan Gu+3 more|arXiv (Cornell University)|Jun 28, 2019

Privacy-Preserving Technologies in Data被引用数 3

ひとこと要約

本稿では、微分プライバシーに基づく経験的リスク最小化におけるモデルの有効性を向上させるために、ガウスノイズをラプラススムージングに置き換えることで、DP-LSSGDと呼ばれる新しい確率的最適化手法を提案する。ガウスメカニズムにおけるノイズをスムージングすることで、同じプライバシー保証を維持しつつ、訓練の安定性と一般化性能を向上させ、凸および非凸モデル、特に深層ニューラルネットワークに対しても、計算コストをほとんど増加させることなく、性能向上を実現する。

ABSTRACT

Machine learning (ML) models trained by differentially private stochastic gradient descent (DP-SGD) have much lower utility than the non-private ones. To mitigate this degradation, we propose a DP Laplacian smoothing SGD (DP-LSSGD) to train ML models with differential privacy (DP) guarantees. At the core of DP-LSSGD is the Laplacian smoothing, which smooths out the Gaussian noise used in the Gaussian mechanism. Under the same amount of noise used in the Gaussian mechanism, DP-LSSGD attains the same DP guarantee, but in practice, DP-LSSGD makes training both convex and nonconvex ML models more stable and enables the trained models to generalize better. The proposed algorithm is simple to implement and the extra computational complexity and memory overhead compared with DP-SGD are negligible. DP-LSSGD is applicable to train a large variety of ML models, including DNNs. The code is available at \url{this https URL}.

研究の動機と目的

• プライバシー保護型勾配降下法（DP-SGD）における顕著な有効性の低下を是正すること。これは、プライバシー保護型機械学習モデルの実用的導入を制限する要因である。
• プライバシー予算や計算コストを増加させることなく、微分プライバシー下でのモデルの一般化性能と訓練の安定性を向上させること。
• 実装が簡単で、深層ニューラルネットワークを含むさまざまな機械学習モデルに広く適用可能な手法を開発すること。
• DP-SGDと同等の微分プライバシー保証（ε）を維持しつつ、ノイズスムージングによってモデル性能を向上させること。

提案手法

• DP-SGDで用いられるガウスメカニズムにおける標準的なガウスノイズの代わりに、ラプラススムージングを導入する。
• 勾配更新にスムージングを適用することで、DP-SGDにおける高ノイズ勾配が引き起こす分散と不安定性を低減する。
• ノイズ分布が同等のプライバシー保証を維持することにより、DP-SGDと同一のプライバシー予算（ε）を保つ。
• 極端なノイズ値の影響を低減するが、微分プライバシーに必要な統計的性質を保持するスムージングカーネルを用いる。
• スムージングステップを確率的最適化ループに直接統合し、最小限のコード変更でシームレスに導入可能にする。
• 標準的なDP-SGDと比較して、計算およびメモリオーバーヘッドがほとんどないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 ラプラススムージングは、標準的なDP-SGDと比較して、プライバシー保護型モデルの一般化性能を向上させることができるか？
• RQ2 提案手法は、ノイズに起因する不安定性を低減しながらも、同じプライバシー保証（ε）を維持できるか？
• RQ3 DP-LSSGDは、凸および非凸の機械学習モデル、特に深層ニューラルネットワークにおいて、どのように性能を発揮するか？
• RQ4 トレーニングパイプラインにラプラススムージングを統合する際の計算およびメモリオーバーヘッドはどの程度か？
• RQ5 プライバシーを損なわず、かつプライバシー予算を変更せずに、訓練の安定性を向上させることができるか？

主な発見

• DP-LSSGDは、同じプライバシー予算下で、特に非凸モデルにおいて、DP-SGDよりも優れた一般化性能と訓練の安定性を達成する。
• DP-SGDと同等の微分プライバシー保証（ε）を維持しつつ、ノイズがモデル収束に与える悪影響を低減する。
• モデルの有効性向上は、凸および非凸の機械学習モデル、深層ニューラルネットワークを含め、広く観察される。
• ラプラススムージングによって引き起こされる計算およびメモリオーバーヘッドは、標準的なDP-SGDと比較してほとんど無視できる。
• 提案手法は実装が簡単であり、幅広い機械学習フレームワークおよびモデルアーキテクチャと互換性がある。
• 実験的結果から、DP-LSSGDは、同一のプライバシー制約下でDP-SGDよりも高いテスト精度を達成できることを示している。