[論文レビュー] Differential Privacy Dynamics of Langevin Diffusion and Noisy Gradient Descent

Rishav Chourasia, Jiayuan Ye+1 more|arXiv (Cornell University)|Feb 11, 2021

Stochastic Gradient Optimization Techniques被引用数 8

ひとこと要約

本稿は、ノイズ付き勾配降下法およびランジュバン拡散における微分プライバシーのダイナミクスの新しい分析を提示し、連続時間の確率過程を用いてプライバシー損失をモデル化する。滑らかで強く凸な損失関数のもとで、Rényi微分プライバシー（RDP）損失が訓練反復回数に対して指数関数的に速く収束することを証明しており、合成定理に依存する手法に比べてはるかにタイトな境界を提供する。また、最適なユーティリティと勾配複雑度を達成する。

ABSTRACT

What is the information leakage of an iterative randomized learning algorithm about its training data, when the internal state of the algorithm is \\emph{private}? How much is the contribution of each specific training epoch to the information leakage through the released model? We study this problem for noisy gradient descent algorithms, and model the \\emph{dynamics} of R\\'enyi differential privacy loss throughout the training process. Our analysis traces a provably \\emph{tight} bound on the R\\'enyi divergence between the pair of probability distributions over parameters of models trained on neighboring datasets. We prove that the privacy loss converges exponentially fast, for smooth and strongly convex loss functions, which is a significant improvement over composition theorems (which over-estimate the privacy loss by upper-bounding its total value over all intermediate gradient computations). For Lipschitz, smooth, and strongly convex loss functions, we prove optimal utility with a small gradient complexity for noisy gradient descent algorithms.

研究の動機と目的

• 合成定理に依存することで漏洩を過大評価する反復的で確率的な学習アルゴリズムのプライバシー解析におけるギャップを埋める。
• 複数の訓練エポックにわたるノイズ付き勾配降下法に対して、動的でタイトなプライバシー境界を提供し、モデルパラメータの収束を考慮する。
• 微分プライバシー最適化におけるプライバシー、ユーティリティ、計算効率（勾配複雑度）の相互作用を分析する。
• 訓練中の真のプライバシー拡散ダイナミクスを捉える、Rényi微分プライバシー損失の証明可能なタイトな境界を確立する。

提案手法

• 隣接するデータセットに対応する2つの連続時間ランジュバン拡散過程として訓練プロセスをモデル化する。
• 隣接するデータセット上で訓練されたモデルのパラメータ分布間のRényi発散の変化率を制限する微分不等式を導出する。
• 損失関数の強い凸性と滑らかさを活用して、時間経過に伴うプライバシー損失の指数的収束を証明する。
• 射影演算子の収縮性と集中不等式を用いて、モデルパラメータが最適解からの期待値逸脱を制御する。
• Fokker-Planck方程式と確率積分を用いて、モデルパラメータ上の確率密度の時間発展を分析する。
• 離散的ノイズ付き勾配降下法を連続的拡散過程に変換し、RDPを用いた精密な微分プライバシー解析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズ付き勾配降下法のプライバシー損失は複数の訓練エポックにわたってどのように変化するか。また、合成定理に比べてよりタイトに境界を定めることは可能か。
• RQ2 アルゴリズムのダイナミクス、特に収束と混合の性質が、学習データに関する実際の情報漏洩に果たす役割は何か。
• RQ3 最適化プロセスの反復的性質に起因する真のプライバシー拡散を反映する、よりタイトなRDP境界を導出可能か。
• RQ4 微分プライバシー確率的最適化における、プライバシー、ユーティリティ、勾配複雑度の最適なトレードオフは何か。
• RQ5 提案されたプライバシー境界はタイトであるか。また、モデルパラメータ分布間の発散に関して、最悪ケースのシナリオと一致するか。

主な発見

• 1強凸性とβ滑らかさのもとで、ノイズ付き勾配降下法のRényi微分プライバシー（RDP）損失は反復回数Kに対して指数関数的に速く収束し、ε = O(α/(σ²n²)(1−e^(-ηK/2))) を達成する。
• 提案された境界は証明可能なタイトさを有しており、Rényi発散が導出された境界と一致する損失関数および隣接データセットが存在する。
• Lipschitz性、滑らかさ、強凸性を満たす損失関数に対して、アルゴリズムは誤差O(d/(n²ε²))を達成し、勾配複雑度O(n log n)で最適なユーティリティを実現する。
• 従来のノイズ付きSGD手法と比較して、勾配複雑度がn/log nの要因で低減され、計算効率が顕著に向上する。
• プライバシー拡散は単にサブサンプリングやノイズ注入によるものではなく、特に最小値への収束に起因する最適化プロセスの内生的ダイナミクスに起因する。
• 解析により、中間の勾配更新は合成定理が想定するよりもプライバシー漏洩に寄与しにくく、よりタイトなエンド・ツー・エンドのプライバシー保証が正当化される。