[論文レビュー] On the Intrinsic Privacy of Stochastic Gradient Descent

Stephanie L. Hyland, Shruti Tople|arXiv (Cornell University)|Dec 5, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用数 7

ひとこと要約

本稿は、確率的勾配降下法（SGD）の内在的プライバシーを、その固有のランダムネスに着目して分析し、SGDの確率的性質が自然なプライバシーを提供することを示している。それぞれのMNIST、Adult、Forest Covertypeデータセットにおいて、$\epsilon$値は7.8、6.9、2.8である。また、この内在的ノイズを拡張することで、ノイズレスモデルとの性能差を$\epsilon = 1$で最大10.07%まで縮小し、より高い性能を達成する手法を提案した。

ABSTRACT

Private learning algorithms have been proposed that ensure strong differential-privacy (DP) guarantees, however they often come at a cost to utility. Meanwhile, stochastic gradient descent (SGD) contains intrinsic randomness which has not been leveraged for privacy. In this work, we take the first step towards analysing the intrinsic privacy properties of SGD. Our primary contribution is a large-scale empirical analysis of SGD on convex and non-convex objectives. We evaluate the inherent variability due to the stochasticity in SGD on 3 datasets and calculate the $\epsilon$ values due to the intrinsic noise. First, we show that the variability in model parameters due to the random sampling almost always exceeds that due to changes in the data. We observe that SGD provides intrinsic $\epsilon$ values of 7.8, 6.9, and 2.8 on MNIST, Adult, and Forest Covertype datasets respectively. Next, we propose a method to augment the intrinsic noise of SGD to achieve the desired $\epsilon$. Our augmented SGD outputs models that outperform existing approaches with the same privacy guarantee, closing the gap to noiseless utility between 0.19% and 10.07%. Finally, we show that the existing theoretical bound on the sensitivity of SGD is not tight. By estimating the tightest bound empirically, we achieve near-noiseless performance at $\epsilon = 1$, closing the utility gap to the noiseless model between 3.13% and 100%. Our experiments provide concrete evidence that changing the seed in SGD is likely to have a far greater impact on the model than excluding any given training example. By accounting for this intrinsic randomness, higher utility can be achieved without sacrificing further privacy. With these results, we hope to inspire the research community to further explore and characterise the randomness in SGD, its impact on privacy, and the parallels with generalisation in machine learning.

研究の動機と目的

• SGDに内在するランダムネスが外部ノイズを追加せずに微分プライバシーに寄与するかどうかを理解すること。
• SGDの確率的性質が、さまざまなデータセットと目的関数において、$\\epsilon$の観点から提供する内在的プライバシーを定量化すること。
• 同じ微分プライバシーの保証下で、SGDの内在的ノイズを強化して性能を向上させる手法を開発すること。
• SGDの理論的感度バウンドを再評価し、実際の運用ではタイトでないことを示すこと。
• SGDの内在的ランダムネス、モデルの一般化、プライバシーの関係を探索し、今後の研究を促進すること。

提案手法

• MNIST、Adult、Forest Covertypeの3つのデータセットにおいて、SGDのランダムサンプリングに起因するモデルパラメータの変動を実験的に測定した。
• モデル更新の感度を用いて、1つのデータポイントを含む・含まないで訓練した際のモデルパラメータの差を比較し、内在的$\epsilon$値を算出した。
• SGDの内在的確率的性質をスケーリングするノイズ拡張技術を提案し、目的の$\epsilon$値を達成しながらモデルの性能を維持することを目的とした。
• 理論的上限値に依存せず、実験的にSGDのタイトな感度バウンドを推定した。
• 拡張された内在的ノイズを用いてモデルを訓練し、同じ$\epsilon$予算下で既存の微分プライバシー手法と性能を比較した。
• 凸および非凸の目的関数の両方で大規模な実験を実施し、結果の頑健性を検証した。

実験結果

リサーチクエスチョン

• RQ1 標準的な機械学習データセットにおいて、SGDの確率的性質が提供する内在的$\epsilon$値は何か？
• RQ2 SGDのランダムサンプリングに起因するモデルパラメータの変動は、1つのトレーニング例を変更した場合の変動と比べてどうか？
• RQ3 SGDの内在的ノイズを拡張することで、既存手法と比較して同じ微分プライバシー保証下でモデルの性能を向上させられるか？
• RQ4 実際の運用では、SGDの理論的感度バウンドはどの程度タイトか？実験的推定がより良い性能をもたらすか？
• RQ5 SGDの内在的ランダムネスは、個々のトレーニング例の変更よりも、モデル出力に強い影響を及ぼすか？

主な発見

• SGDの内在的確率的性質により、MNISTでは$\epsilon$値が7.8、Adultでは6.9、Forest Covertypeでは2.8となり、顕著な自然なプライバシーが得られた。
• ランダムサンプリングに起因するモデルパラメータの変動は、1つのトレーニング例を変更した場合の変動を上回っており、ランダムシードを変更する影響がデータポイントを削除する影響よりも大きいことを示唆している。
• SGDの内在的ノイズを拡張することで、$\epsilon = 1$の条件下でノイズレスモデルとの性能差が0.19%〜10.07%にまで縮小され、既存の微分プライバシー手法を上回った。
• 実験的に推定したSGDのタイトな感度バウンドにより、$\epsilon = 1$でノイズレスに近い性能が得られ、ノイズレスモデルとの差を3.13%〜100%まで縮小した。
• 理論的感度バウンドは実際の運用ではタイトではなく、感度の実験的推定が同じプライバシー予算下で顕著な性能向上をもたらした。
• SGDのランダムシードを変更することは、任意の1つのトレーニング例を削除するのと比べて、モデル出力により大きな影響を及ぼしており、モデル変動における内在的ランダムネスの主導的役割を強調している。