[論文レビュー] Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD

Murat Bilgehan Ertan, Marten van Dijk|arXiv (Cornell University)|Jan 15, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

この論文は f-DP の下で one-epoch のシャッフルされた DP-SGD に対する基本的なプライバシー-有用性のトレードオフを証明し、同時に強いプライバシーと高い有用性を同時に満たすことを妨げる明示的な下限を示し、結果をポアソン抽出にも拡張する。

ABSTRACT

Differentially Private Stochastic Gradient Descent (DP-SGD) is the dominant paradigm for private training, but its fundamental limitations under worst-case adversarial privacy definitions remain poorly understood. We analyze DP-SGD in the $f$-differential privacy framework, which characterizes privacy via hypothesis-testing trade-off curves, and study shuffled sampling over a single epoch with $M$ gradient updates. We derive an explicit suboptimal upper bound on the achievable trade-off curve. This result induces a geometric lower bound on the separation $κ$ which is the maximum distance between the mechanism's trade-off curve and the ideal random-guessing line. Because a large separation implies significant adversarial advantage, meaningful privacy requires small $κ$. However, we prove that enforcing a small separation imposes a strict lower bound on the Gaussian noise multiplier $σ$, which directly limits the achievable utility. In particular, under the standard worst-case adversarial model, shuffled DP-SGD must satisfy $σ\ge \frac{1}{\sqrt{2\ln M}}$ $\quad ext{or}\quad$ $κ\ge\ \frac{1}{\sqrt{8}}\!\left(1-\frac{1}{\sqrt{4π\ln M}} ight)$, and thus cannot simultaneously achieve strong privacy and high utility. Although this bound vanishes asymptotically as $M o \infty$, the convergence is extremely slow: even for practically relevant numbers of updates the required noise magnitude remains substantial. We further show that the same limitation extends to Poisson subsampling up to constant factors. Our experiments confirm that the noise levels implied by this bound leads to significant accuracy degradation at realistic training settings, thus showing a critical bottleneck in DP-SGD under standard worst-case adversarial assumptions.

研究の動機と目的

• 現実的なシャッフルの下で DP-SGD のプライバシー保証を理解することを動機づけ、ポアソン抽出を超える。
• f-DP のトレードオフ分離に関する明示的な幾何学的下限を導出し、それを DP-SGD のノイズ倍率と関連付ける。
• 最悪ケースの敵対的仮定の下での制限を示し、シャッフル結果とポアソン抽出を混合 argument により結びつける。
• 理論的境界が実践的な訓練精度に影響を与えることを経験的に検証する。

提案手法

• f-DP フレームワーク内で DP-SGD をモデル化し、単一エポックのシャッフル DP-SGD に対するトレードオフ曲線 f(α) を分析する。
• シャッフルされたトレードオフ曲線の明示的な最適でない上界を導出し、それを乱択ラインからの分離 κ の下限へ翻訳する。
• 最悪ケースの敵対者の下で σ は σ ≥ 1/√(2 ln M) または κ ≥ 1/√8 (1 − 1/√(4π ln M)) を満たさなければならないことを示す。
• 混合 argument によるポアソン抽出への分析拡張を行い、統一的な最悪ケースの特徴付けを得る。
• Neyman–Pearson を用いて高次元ガウス機構を一次元仮説検定へ射影し，幾何学的分離を通じてトレードオフを境界づける。
• 現実的な訓練設定で示唆されるノイズレベルが精度を劣化させることを実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 worst-case 敵対モデルの下で one-epoch シャッフル DP-SGD の基本的なプライバシー-有用性トレードオフは何か。
• RQ2 シャッフルされた DP-SGD のトレードオフ曲線は理想的な乱択ラインとどう比較されるか、得られる分離 κ はどれか。
• RQ3 観測された制限をポアソン抽出へ拡張できるか、可能ならどの程度の要因で拡張されるか。
• RQ4 現実的な予算下での訓練有用性（精度）に対する導出境界の実務的意味は何か。
• RQ5 理論的境界はモデルやデータセット全体で観測可能な性能低下へ翻訳されるか。

主な発見

• 分離 κ に関する明示的な幾何学的下限が存在し、プライバシー漏洩を乱択ラインからの距離と結びつける。
• 標準的な最悪ケースモデルの下で、シャッフル DP-SGD は σ ≥ 1/√(2 ln M) または κ ≥ 1/√8 (1 − 1/√(4π ln M)) を満たさなければならない。
• シャッフル DP-SGD においても、分離を小さくするとノイズが増加し、ノイズを小さくするとプライバシー保証が損なわれるため、プライバシーと有用性の両立は不可能。
• 下限は混合 argument によりポアソン抽出にも定数要因の範囲で適用される。
• M が大きくなるにつれて下限は漸近的に消失するが収束は極めて遅く、実務的な M では依然として substantial なノイズが残る。
• 実験は implied のノイズレベルが現実的な訓練予算で精度の有意な低下を引き起こすことを裏付ける。