[論文レビュー] Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent

Yu Da, Gautam Kamath+4 more|arXiv (Cornell University)|Jun 6, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、ドーナツプライベート確率的勾配降下法（DP-SGD）における個々のプライバシー保証を定量化するため、出力固有の$(\varepsilon,\delta)$-微分プライバシーを導入する。その結果、訓練損失が大きい例ではプライバシーが著しく弱いことが明らかになった。本稿は、個々のプライバシーを推定するための効率的なアルゴリズムを提案し、モデルの性能が低いグループほどプライバシーも劣ることを明らかにした。CIFAR-10では、最低精度クラスの例では$\varepsilon$が最大44.2%高くなることが判明した。

ABSTRACT

Differentially private stochastic gradient descent (DP-SGD) is the workhorse algorithm for recent advances in private deep learning. It provides a single privacy guarantee to all datapoints in the dataset. We propose output-specific $(\varepsilon,δ)$-DP to characterize privacy guarantees for individual examples when releasing models trained by DP-SGD. We also design an efficient algorithm to investigate individual privacy across a number of datasets. We find that most examples enjoy stronger privacy guarantees than the worst-case bound. We further discover that the training loss and the privacy parameter of an example are well-correlated. This implies groups that are underserved in terms of model utility simultaneously experience weaker privacy guarantees. For example, on CIFAR-10, the average $\varepsilon$ of the class with the lowest test accuracy is 44.2\% higher than that of the class with the highest accuracy.

研究の動機と目的

• 標準的なDP-SGDの限界に対処する。これは、すべての例に一様な最悪ケースのプライバシー境界を割り当てるが、個々の勾配の大きさとは無関係である。
• 実際の訓練経路に基づいて個別化されたプライバシー保証を計算する手法を開発する。これは、最悪ケースの仮定ではなく、実際のデータに基づくものである。
• DP-SGDで訓練された機械学習モデルにおいて、プライバシー格差と性能格差が一致するかどうかを調査する。
• 個別プライバシー会計の結果が、プライベートAIシステムにおける公平性とプライバシーのトレードオフに与える影響を検討する。

提案手法

• 各例の観察された訓練経路に依存する、出力固有の$(\varepsilon,\delta)$-DPという洗練されたプライバシー概念を提案する。
• 訓練経路に沿った勾配ノルムとノイズ寄与度を分析することで、個々のプライバシーパラメータを推定するための効率的なアルゴリズムを設計する。
• 個々のプライバシーパラメータと最終的な訓練損失の対数との相関をモデル化するために対数フィッティング手法を採用する。
• 実際の訓練中に観測された勾配の大きさを活用し、個別例に適応したモーメント会計フレームワークを応用する。
• 複数のベンチマークデータセット（CIFAR-10、MNIST、UTKFace）にこの手法を適用し、例ごとのプライバシーを実証的に評価する。
• メンバーインファレンス攻撃を用いて、$\varepsilon$が大きいほど実際のプライバシーリスクも高くなることを確認し、個別プライバシー会計の実用的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 DP-SGDの訓練における個々の例は、同じプライバシー保証を受けているのか。それとも、勾配ノルムが小さい例はより強いプライバシーを享受しているのか。
• RQ2 例の最終的な訓練損失とその個別プライバシーパラメータ$\varepsilon$との間に測定可能な相関があるか。
• RQ3 モデルの性能が低いグループは、DP-SGDにおいても弱いプライバシー保証を受けるのか。
• RQ4 個別プライバシー会計は、最悪ケースのDP境界では捉えきれない、隠れた公平性の格差を明らかにできるか。
• RQ5 個別プライバシーパラメータの導入は、特にデータ削除をサポートするシステムにおいて、実世界のプライバシーと公平性にどのような影響を与えるか。

主な発見

• CIFAR-10では、テスト精度が最も低い「猫」クラスの平均$\varepsilon$は、「自動車」クラス（最高精度）よりも44.2%高いことが判明した。
• UTKFace-Genderでは、「アジア系」グループ（最低精度）の平均$\varepsilon$は、「インド系」グループ（最高精度）よりも35.1%高いことが判明した。
• すべてのデータセットにおいて、個別プライバシーパラメータと最終訓練損失の対数との間に強い対数的相関（ピアソン相関係数 > 0.9）が確認された。
• 訓練損失が大きい例では、常に$\varepsilon$が高くなる傾向があり、学習がうまくいかない例はより高いプライバシーリスクを受けることが示された。
• 性能が低いグループは、プライバシー保証も劣っており、公平性とプライバシーの両方において同時に格差が生じていることが明らかになった。
• メンバーインファレンス攻撃の結果、$\varepsilon$が大きいほど実際のプライバシーリスクも高くなることが確認され、個別プライバシー会計の実用的意義が裏付けられた。