[論文レビュー] Gaussian Differential Privacy

Jinshuo Dong, Aaron Roth+1 more|arXiv (Cornell University)|May 7, 2019

Privacy-Preserving Technologies in Data参考文献 40被引用数 102

ひとこと要約

f-差分プライバシー（f-DP）を、DPの仮説検定ベースの緩和として導入し、ガウス差分プライバシー（GDP）を標準的な単一パラメータ系として位置づけ、組み合わせ定理、サブサンプリング増幅、およびSGDへの適用を開発。

ABSTRACT

Differential privacy has seen remarkable success as a rigorous and practical formalization of data privacy in the past decade. This privacy definition and its divergence based relaxations, however, have several acknowledged weaknesses, either in handling composition of private algorithms or in analyzing important primitives like privacy amplification by subsampling. Inspired by the hypothesis testing formulation of privacy, this paper proposes a new relaxation, which we term `$f$-differential privacy' ($f$-DP). This notion of privacy has a number of appealing properties and, in particular, avoids difficulties associated with divergence based relaxations. First, $f$-DP preserves the hypothesis testing interpretation. In addition, $f$-DP allows for lossless reasoning about composition in an algebraic fashion. Moreover, we provide a powerful technique to import existing results proven for original DP to $f$-DP and, as an application, obtain a simple subsampling theorem for $f$-DP. In addition to the above findings, we introduce a canonical single-parameter family of privacy notions within the $f$-DP class that is referred to as `Gaussian differential privacy' (GDP), defined based on testing two shifted Gaussians. GDP is focal among the $f$-DP class because of a central limit theorem we prove. More precisely, the privacy guarantees of \emph{any} hypothesis testing based definition of privacy (including original DP) converges to GDP in the limit under composition. The CLT also yields a computationally inexpensive tool for analyzing the exact composition of private algorithms. Taken together, this collection of attractive properties render $f$-DP a mathematically coherent, analytically tractable, and versatile framework for private data analysis. Finally, we demonstrate the use of the tools we develop by giving an improved privacy analysis of noisy stochastic gradient descent.

研究の動機と目的

• 古典的なDPの組み合わせと増幅の限界に対処するため、仮説検定に基づくプライバシー緩和の必要性を動機づける。
• データセット隣接性の下で最適な第一種および第二種誤差のトレードオフを捉えるトレードオフ関数を介してf-差分プライバシー（f-DP）を定義する。
• f-DP内の規範的な単一パラメータ実装としてガウス差分プライバシー（GDP）を導入する。
• 組み合わせ定理と、組み合わせの下でGDPへ収束する中心極限定理風の結果を展開する。
• 確率的勾配降下法（SGD）のプライバシ分析を改善し、f-DPを既存のDPフレームワークと結びつけることで実用的な有用性を示す。

提案手法

• トレードオフ関数T(P,Q)を用いてf-DPを形式化し、対称トレードオフ関数を定義する。
• N(0,1)とN(mu,1)間のガウス仮説検定を用いてG_muを特徴づけることでGDPを特化化する。
• GDPが後処理下で保存されることを示し、f-DPをε-δ-DP保証と結びつける primal-dual視点を提供する。
• 組み合わせ定理を証明し、累積プライバシー損失を近似するためのBerry-Esseen型CLTを組み合わせに対して示す。
• ガウスメカニズムをmu-GDPとして確立し、ガウスノイズ追加の正確なGDP境界を導出する。
• ノイズ付きSGDのプライバシを分析するためにフレームワークを適用し、従来のDP分析と比較する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーを機能的トレードオフ問題としてどのように定式化し、組み合わせとサブサンプリングをより適切に扱えるか。
• RQ2 仮説検定の解釈と整合する、f-DP内の規範的な単一パラメータのプライバシ概念は何か。
• RQ3 GDPはガウス機構とどのように関連し、組み合わせ限界を中心極限定理で特徴づけることができるか。
• RQ4 f-DPを従来の(ε, δ)-DP保証に変換できるか、またその逆は可能か、既存の結果を活用するため。
• RQ5 GDPは既存のDP手法と比べてSGDのプライバシ分析をよりシャープにするのか。

主な発見

• f-DPはトレードオフ関数に基づく、組み合わせに適した厳密なプライバシーフレームワークを提供する。
• GDPはガウス機構を正確に特徴づけ、組み合わせ限界の下で標準的なプライバシー保証として機能する。
• GDPは仮説検定ベースのプライバシー概念に対する中央極限定理によって、過小構成のプライバシー損失へ収束する。
• f-DPと(ε, δ)-DP保証のファミリとの primal-dual対応が存在し、結果の移行を可能にする。
• 後処理はf-DP保証を劣化させず、Blackwell型の結果はf-DPが特定のプライバシー概念の中で最大限情報を提供することを示す。
• このフレームワークはGDPベースの組み合わせ近似を介して、以前の発散に基づく手法よりも鋭いSGDプライバシ分析を提供する。