[論文レビュー] Efficient Privacy-Preserving Stochastic Nonconvex Optimization

Lingxiao Wang, Bargav Jayaraman+2 more|arXiv (Cornell University)|Oct 30, 2019

Privacy-Preserving Technologies in Data参考文献 56被引用数 11

ひとこと要約

本稿では、勾配の分散を低減するために確率的再帰的モーメンタムを活用する、非凸な経験的リスク最小化のための微分プライバシー付き確率的最適化アルゴリズムであるDP-SRMを提案する。先行研究と比較して、より優れたプライバシー・ユーティリティトレードオフを実現し、勾配の複雑さが低く、ロジスティック回帰や畳み込みニューラルネットワーク（CNNs）などのベンチマーク非凸問題において収束が速い。

ABSTRACT

While many solutions for privacy-preserving convex empirical risk minimization (ERM) have been developed, privacy-preserving nonconvex ERM remains a challenge. We study nonconvex ERM, which takes the form of minimizing a finite-sum of nonconvex loss functions over a training set. We propose a new differentially private stochastic gradient descent algorithm for nonconvex ERM that achieves strong privacy guarantees efficiently, and provide a tight analysis of its privacy and utility guarantees, as well as its gradient complexity. Our algorithm reduces gradient complexity while improves the best previous utility guarantee given by Wang et al. (NeurIPS 2017). Our experiments on benchmark nonconvex ERM problems demonstrate superior performance in terms of both training cost and utility gains compared with previous differentially private methods using the same privacy budgets.

研究の動機と目的

• 機械学習におけるプライバシー保護最適化の課題、特に機密情報を含む大規模データセットに対する解決を目的とする。
• 強いプライバシー保証を維持しながら、ユーティリティと計算効率を向上させる微分プライバシー付き確率的最適化アルゴリズムの開発を目的とする。
• 非凸な経験的リスク最小化における従来の微分プライバシー手法が直面する、フル勾配計算の高コストな問題を克服することを目的とする。
• 提案手法のプライバシー（Rényi微分プライバシーを用いた分析）とユーティリティ（勾配複雑さと誤差境界）に関する理論的解析を厳密に提供することを目的とする。

提案手法

• 本手法は、再帰的モーメンタム推定により勾配の分散を低減する、新しい微分プライバシー付き確率的再帰的モーメンタム（DP-SRM）アルゴリズムを導入する。
• 滑らかでタイトなプライバシー解析を可能にするために、Rényi微分プライバシー（RDP）を採用し、より良いプライバシー・ユーティリティトレードオフを実現する。
• 適応的バッチサイズを用いた確率的勾配推定と、グリッドサーチによる最適化されたモーメンタムパラメータを用い、収束性とプライバシーのバランスを図る。
• 勾配の再帰的推定を維持することで、バリアンス低減手法における定期的なフル勾配計算を回避し、バリアンス低減手法よりもスケーラビリティに優れる。
• 勾配クリッピングとノイズ注入を適用して微分プライバシーを確保し、クリッピングパラメータは勾配ノルムに基づいて選択する。
• 理論的解析により、$ O\big{(}(d\log(1/\delta))^{1/3}/(n\epsilon)^{2/3}\big{)} $ の改善されたユーティリティバウンドと、$ O\big{(}(n\epsilon)^2/(d\log(1/\delta))\big{)} $ の勾配複雑さが確立された。

実験結果

リサーチクエスチョン

• RQ1 非凸な経験的リスク最小化のための微分プライバシー付き確率的最適化アルゴリズムは、強いプライバシー保証を維持しながら、従来手法よりも優れたユーティリティを達成できるか？
• RQ2 確率的再帰的モーメンタムの使用は、微分プライバシー付き非凸最適化の収束性と効率性をどのように向上させるか？
• RQ3 非凸設定における、プライバシー予算、勾配複雑さ、モデルユーティリティの最適なトレードオフは何か？
• RQ4 同じプライバシー予算下で、提案手法はDP-SGDを上回るテスト精度と訓練コストを達成できるか？
• RQ5 提案アルゴリズムの理論的勾配複雑さとユーティリティバウンドは、先行研究と比較してどのように異なるか？

主な発見

• 提案されたDP-SRMアルゴリズムは、$ O\big{(}(d\log(1/\delta))^{1/3}/(n\epsilon)^{2/3}\big{)} $ のユーティリティバウンドを達成し、従来の最良結果である$ O\big{(}(d\log(1/\delta))^{1/4}/(n\epsilon)^{1/2}\big{)} $ よりも向上している。
• DP-SRMの勾配複雑さは$ O\big{(}(n\epsilon)^2/(d\log(1/\delta))\big{)} $ であり、問題次元$ d $ が大きい場合、従来手法より低く抑えられている。
• MNISTでは、$ \epsilon=3.0 $ と$ \epsilon=1.2 $ の下で、それぞれ3.62%および4.49%のテスト誤差を達成し、DP-SGDより0.19%および0.84%の精度で優れている。
• CIFAR-10のCNN6では、$ \epsilon=4.0 $ の下で31.0%のテスト誤差を達成し、DP-SGDと同等の性能を示したが、10³回の反復（6.8×10³）と643秒で実行された。これはDP-SGDの1.3×10⁴回の反復と1115秒をそれぞれ58%に削減した。
• MNISTおよびCIFAR-10の両方で、DP-SGDと比較して訓練時間を40%短縮し、反復回数を50%削減しながら、同等またはより高いモデル精度を達成した。
• 実験により、DP-SRMはプライバシーの予算が同等の下で、非プライベートベースラインに最も近いモデル精度を生成し、計算コストを顕著に削減することが確認された。