[論文レビュー] Rényi Differential Privacy of the Sampled Gaussian Mechanism

Ilya Mironov, Kunal Talwar+1 more|arXiv (Cornell University)|Aug 28, 2019

Privacy-Preserving Technologies in Data参考文献 10被引用数 88

ひとこと要約

この論文は、リサンプリングされたガウス機構（Sampled Gaussian Mechanism, SGM）の Rényi 差分プライバシー（RDP）を分析し、既存の結果を統一し、ほぼ厳密に近い閉形式境界を提供し、SGM の RDP を計算する数値的に安定な方法を提供します。

ABSTRACT

The Sampled Gaussian Mechanism (SGM)---a composition of subsampling and the additive Gaussian noise---has been successfully used in a number of machine learning applications. The mechanism's unexpected power is derived from privacy amplification by sampling where the privacy cost of a single evaluation diminishes quadratically, rather than linearly, with the sampling rate. Characterizing the precise privacy properties of SGM motivated development of several relaxations of the notion of differential privacy. This work unifies and fills in gaps in published results on SGM. We describe a numerically stable procedure for precise computation of SGM's Rényi Differential Privacy and prove a nearly tight (within a small constant factor) closed-form bound.

研究の動機と目的

• サブサンプリングとガウスノイズを組み合わせた Sampled Gaussian Mechanism (SGM) のプライバシーを動機づけ、分析する。
• Rényi 差分プライバシー（RDP）の下での SGM に関する既存の結果を統一する。
• SGM の RDP を計算するための閉形式境界と数値的に安定な手法の双方を提供する。
• SGM コンテキストにおける DP の緩和とプライバシーアカウンティング手法の関係を明確にする。

提案手法

• SGM の RDP 分析を単純な一次元ガウスの混合へ還元し、Rényi 発散の準凸性を適用して発散を評価する。
• Aα および Bα を下界化することにより閉形式の界を導出する。Aα = E_{z~N(0,σ^2)}[(μ(z)/μ0(z))^α] および Bα = E_{z~μ}[(μ0(z)/μ(z))^α] であり、μ0=,N(0,σ^2) および μ=(1−q)μ0+qμ1, μ1=N(1,σ^2)。
• Aα ≥ Bα であることを証明し、これを用いて解析を単純化する。
• Aα を整数 α の場合は二項展開を用い、分数 α の場合は収束級数を用いて数値的に安定な計算法を提供し、実践的な評価方法を示す。
• パラメータ領域（q ≤ 1/5、σ ≥ 4、α が定められた範囲内）における RDP 境界を ε = 2q^2α/σ^2 として与える主定理を述べる。
• CDP、zCDP、tCDP、RDP など異なるプライバシー概念とプライバシーアカウンターフレームワークとの関係を論じる。

実験結果

リサーチクエスチョン

• RQ1 さまざまなサンプリング率 q とノイズレベル σ の下で、Sampled Gaussian Mechanism の厳密またはほぼ厳密な Rényi 差分プライバシー境界はどのようなものか？
• RQ2 RDP の計算を容易にするために、解析を単純な一次元ガウス混合へ還元するにはどうすればよいか？
• RQ3 Aα と Bα はどのように比較され、両者の関係は SGM の RDP にどのように影響するか？
• RQ4 整数および非整数 α の両方に対して Aα を厳密に数値的に安定に計算する手順を導出できるか？
• RQ5 SGM の文脈において、RDP の結果は他の DP の緩和やアカウンティング手法とどのように関連し、対比するか？

主な発見

• ℓ2-感度 1 を持つ SGM は ε ≤ (1/(α−1)) log max(Aα, Bα) かつ Aα ≥ Bα のとき (α, ε)-RDP を満たす。
• Aα の閉形式境界が得られ、指定パラメータ制約（q ≤ 1/5、σ ≥ 4、かつ α が定義された範囲内）下で ε = 2q^2α/σ^2 の (α, ε)-RDP 保証を導く。
• Aα を正確に計算する数値的に安定な手順を提供。整数 α には二項展開、分数 α には収束級数を用い、正確な RDP アカウンティングを可能にする。
• 述べられた仮定の下で、単純な一次元ガウス混合へ還元することが最悪ケースの RDP 境界を捉える一般定理を示す。
• CDP、zCDP、tCDP、RDP の関係を明確にし、モーメントアカウンタがRDP境界を (ε, δ)-DP に変換する方法を論じる。