[論文レビュー] Learning rate adaptation for differentially private stochastic gradient descent

Antti Koskela, Antti Honkela|arXiv (Cornell University)|Sep 11, 2018

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

この論文は、差分プライバシーを適用した確率的勾配降下法（DP-SGD）における学習率の適応手法を提案しており、検証データセットに依存せずに、外挿に基づく誤差推定を用いてその必要性を排除する。勾配更新における1ステップと2つの半ステップを比較し、モーメント会計師を用いてきめ細やかなプライバシー境界を達成することで、DP-SGDおよび差分プライバシーを適用した変分推論において、手動でチューニングされた最適化手法と同等の性能を達成する。

ABSTRACT

Differentially private learning has recently emerged as the leading approach for privacy-preserving machine learning. Differential privacy can complicate learning procedures because each access to the data needs to be carefully designed and carries a privacy cost. For example, standard parameter tuning with a validation set cannot be easily applied. In this paper, we propose a differentially private algorithm for the adaptation of the learning rate for differentially private stochastic gradient descent (SGD) that avoids the need for validation set use. The idea for the adaptiveness comes from the technique of extrapolation in classical numerical analysis: to get an estimate for the error against the gradient flow which underlies SGD, we compare the result obtained by one full step and two half-steps. We prove the privacy of the method using the moments accountant mechanism. This allows us to compute tight privacy bounds. Empirically we show that our method is competitive with manually tuned commonly used optimisation methods for training deep neural networks and differentially private variational inference.

研究の動機と目的

• 差分プライバシー機械学習におけるハイパーパramータチューニング、特に学習率選定の課題に取り組み、検証データセットに依存しない手法を提供すること。
• DP-SGDと互換性があり、強力なプライバシー保証を維持するプライバシー保護型の学習率適応メカニズムを開発すること。
• 勾配フローに対する相対誤差を推定することで、DP-SGDにおける自動的・適応的学習率スケジューリングを可能にすること。
• モーメント会計師を用いた厳密なプライバシー会計により、きめ細やかで正確なプライバシー境界を保証すること。
• 深層学習および差分プライバシーを適用した変分推論における手動でチューニングされた最適化手法と比較して、本手法の性能を実証的に評価すること。

提案手法

• 数値解析における外挿法を用い、1ステップの更新と2つの半ステップの更新を比較することで、離散的DP-SGD更新と連続的勾配フローとの間の誤差を推定する。
• 全ステップと2つの半ステップの軌道の乖離に基づき、学習率適応信号を計算する。これにより、最適化経路における局所的曲率と誤差が反映される。
• 全訓練プロセスのきめ細やかなプライバシー境界を計算するために、モーメント会計師手法を採用し、形式的な差分プライバシー保証を確保する。
• 検証データセットへのアクセスを必要とせず、推定誤差に基づいて学習率を訓練中に適応的に調整する。
• プライバシーを保証するため、適切なノイズ注入と会計処理を施しながら、DP-SGDフレームワークに統合する。
• 既存のDP-SGD実装と簡単に統合可能であり、最小限の変更で利用可能である。

実験結果

リサーチクエスチョン

• RQ1 検証データセットを一切使用せずに、差分プライバシーを適用した学習率適応手法を設計できるか？
• RQ2 DP-SGD訓練中に、勾配フローに対する相対誤差をプライバシー保護的に推定する方法は何か？
• RQ3 モーメント会計師手法を適応的学習率スケジューリングと効果的に組み合わせ、きめ細やかなプライバシー境界を維持できるか？
• RQ4 提案手法の性能は、DP-SGDおよび差分プライバシーを適用した変分推論における手動でチューニングされた最適化手法と比べてどうか？
• RQ5 適応的学習率スケジューリングは、差分プライバシー学習におけるモデルの収束性と一般化性能にどのような影響を与えるか？

主な発見

• 提案手法は、差分プライバシー下での深層ニューラルネットワークの学習において、手動でチューニングされた最適化手法と同等の性能を達成する。
• 検証データセットの必要性が排除され、DP-SGDにおけるハイパーパramータチューニングプロセスが簡素化される。
• モーメント会計師によりきめ細やかなプライバシー境界が達成され、正確で信頼性の高いプライバシー会計が可能になる。
• 実験的結果から、適応的学習率手法はDP-SGDおよび差分プライバシーを適用した変分推論の両設定で、良好な一般化性能を示す。
• 外挿に基づく誤差推定は、局所的最適化ダイナミクスを効果的に捉え、効果的な学習率調整を可能にする。
• 本手法は、強力なプライバシー保証を維持しながら、プライベート学習ベンチマークで最先端の性能を達成する。