[論文レビュー] Privacy Amplification by Subsampling: Tight Analyses via Couplings and Divergences

Borja Balle, Gilles Barthe+1 more|arXiv (Cornell University)|Jul 4, 2018

Privacy-Preserving Technologies in Data参考文献 2被引用数 105

ひとこと要約

この論文は、α-divergences、couplings、および privacy profiles を用いた統一的な枠組みを提示し、さまざまな subsampling schemes および neighboring relations に対して厳密な privacy amplification bounds を導出し、下界を用いて厳密性を証明する。

ABSTRACT

Differential privacy comes equipped with multiple analytical tools for the design of private data analyses. One important tool is the so-called "privacy amplification by subsampling" principle, which ensures that a differentially private mechanism run on a random subsample of a population provides higher privacy guarantees than when run on the entire population. Several instances of this principle have been studied for different random subsampling methods, each with an ad-hoc analysis. In this paper we present a general method that recovers and improves prior analyses, yields lower bounds and derives new instances of privacy amplification by subsampling. Our method leverages a characterization of differential privacy as a divergence which emerged in the program verification community. Furthermore, it introduces new tools, including advanced joint convexity and privacy profiles, which might be of independent interest.

研究の動機と目的

• さまざまな subsampling schemes および neighboring relations にわたって、privacy amplification by subsampling を分析する一般的で厳密な枠組みを開発する。
• 既存の結果を統合し、DP の発散に基づく特徴付けを用いて新たな増幅境界を導出する。
• サブサンプリングにより生じる混合を境界づけるため、高度な結合凸性と privacy profiles を導入する。
• 下界および coupling に基づく証明を用いて境界の厳密性を確立する。

提案手法

• α-divergences および privacy profiles (D_α) を用いて微分的プライバシーをモデル化し、厳密な DP 保証を捕捉する。
• サブサンプリングにより生じる重なり合う混合間の D_{e^{ε′}} を高度な joint convexity を用いて境界づける。
• 最大結合を適用してサブサンプリング分布を関連づけ、ε′ = log(1 + η(e^{ε}-1)) によって η に依存する増幅 ε′ を導出する。
• 右辺の発散を group-privacy profiles および coupling-based decompositions で境界づける。
• 既存の結果を回収し、さまざまな subsampling schemes に対して新たで厳密な境界を生み出す汎用的な枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 任意の subsampling schemes に対して DP の厳密で一般的な増幅境界をどのように導くことができるか。
• RQ2 α-divergence の特徴付けと coupling を併用して、統一的かつ最適な privacy amplification 結果を導き出せるか。
• RQ3 高度な joint convexity と privacy profiles は subsampling からの混合出力の取り扱いをどのように支援するか。
• RQ4 異なる隣接関係の下で、一般的な subsampling methods（Poisson、WOR、WR）の厳密な境界は何か。
• RQ5 得られた境界は機構全体を通じた下界により厳密性が証明できるか。

主な発見

• 既知のすべての結果を回収し、新たな境界を生み出す privacy amplification 境界を導出する統一的手法を確立した。
• α-divergences の高度な joint convexity を導入し、サブサンプリングの混合出力を境界づけた。
• privacy profiles および group-privacy profiles を定義して、ε と δ にまたがる DP 保証を定量化した。
• Poisson、WOR、WR の subsampling に対して、remove/add-one (R) および substitute-one (S) 隣接関係で厳密な増幅境界を導出した。
• 一般的な下界と coupling によって厳密性を示す枠組みを提供した。
• Table 1 は一般的な subsampling schemes と隣接関係にわたる増幅境界を要約している。