[論文レビュー] Privacy Odometers and Filters: Pay-as-you-Go Composition

Ryan Rogers, Aaron Roth+2 more|arXiv (Cornell University)|May 26, 2016

Privacy-Preserving Technologies in Data参考文献 9被引用数 40

ひとこと要約

この論文は、分析中に動的に選択可能なプライバシー・パラメータ (ε, δ) を用いた微分プライバシーにおける適応的コンポジションのためのプライバシー・フィルタとプライバシー・オドメーターを導入する。プライバシー・フィルタは、標準的コンポジション定理と同等の境界を達成できることを確立している一方、プライバシー・オドメーターはわずかな漸近的要因の損失を被る。これにより、2つの用途の間で明確な分離が示された。

ABSTRACT

In this paper we initiate the study of adaptive composition in differential privacy when the length of the composition, and the privacy parameters themselves can be chosen adaptively, as a function of the outcome of previously run analyses. This case is much more delicate than the setting covered by existing composition theorems, in which the algorithms themselves can be chosen adaptively, but the privacy parameters must be fixed up front. Indeed, it isn't even clear how to define differential privacy in the adaptive parameter setting. We proceed by defining two objects which cover the two main use cases of composition theorems. A privacy filter is a stopping time rule that allows an analyst to halt a computation before his pre-specified privacy budget is exceeded. A privacy odometer allows the analyst to track realized privacy loss as he goes, without needing to pre-specify a privacy budget. We show that unlike the case in which privacy parameters are fixed, in the adaptive parameter setting, these two use cases are distinct. We show that there exist privacy filters with bounds comparable (up to constants) with existing privacy composition theorems. We also give a privacy odometer that nearly matches non-adaptive private composition theorems, but is sometimes worse by a small asymptotic factor. Moreover, we show that this is inherent, and that any valid privacy odometer in the adaptive parameter setting must lose this factor, which shows a formal separation between the filter and odometer use-cases.

研究の動機と目的

• 事前に固定されるのではなく、分析中に適応的に選択されるプライバシー・パラメータ (ε, δ) を用いた微分プライバシー・コンポジションの課題に対処すること。
• 2つの新しいプリミティブ、すなわちプライバシー・フィルタ（プライバシー予算に達した時点で計算を停止するもの）とプライバシー・オドメーター（事前に指定された予算を必要とせず、リアルタイムで実現されたプライバシー損失を追跡するもの）を定義し、形式化すること。
• クエリ数とプライバシー・パラメータの両方が適応的に選択される状況において、既存のコンポジション定理が拡張可能かどうかを調査すること。
• パラメータを適応的に選択する状況において、プライバシー・フィルタとプライバシー・オドメーターの間の本質的な違いを明確にすること。
• プライバシー・オドメーターが適応的パラメータ設定において、非適応的コンポジションと比較して最小限の漸近的損失を被る境界を、ほぼ最適に導出すること。

提案手法

• プライバシー・フィルタを、事前に指定されたプライバシー予算を超えないように計算を停止させる停止時刻ルールとして定義し、(ε_total, δ_total)-微分プライバシーを保証すること。
• プライバシー・オドメーターを、事前に指定された予算を必要とせず、継続的に実現されたプライバシー損失を追跡するメカニズムとして定義し、累積プライバシー費用の進行的推定を提供すること。
• 集中不等式とマルティングル解析を用いて、ε_i および δ_i の適応的選択におけるプライバシー損失の尾部確率を束縛すること。
• 適切に選ばれたパrameter (c = 1/n, t = n) を用いて、有界マルティングルに対する定理 4.5（集中不等式）を適用し、プライバシー損失の高確率境界を導出すること。
• 2つの主要な境界を導出：∑ε_i² ∈ [1/n², 1] の場合のプライバシー・オドメーターの境界と、この範囲外の場合の境界。後者はパrameter γ を用いた細分化された調整により得られる。
• 純粋な微分プライバシー（δ=0）の結果を、制御された定数の増加を保ちつつ一般化された (ε,δ)-DP 結果に変換する翻訳技術を用いること。

実験結果

リサーチクエスチョン

• RQ1 プライバシー・パラメータ (ε, δ) が分析中に適応的に選択される状況において、微分プライバシー・コンポジション定理を拡張できるか？
• RQ2 プライバシー予算を超えないように計算を停止するプライバシー・フィルタ—適応的パラメータ設定下でも依然として有効か？
• RQ3 リアルタイムで累積プライバシー損失を追跡するプライバシー・オドメーターは、非適応的コンポジション定理と同等の境界に達成できるか？
• RQ4 パラメータが適応的に選択される状況において、プライバシー・フィルタとプライバシー・オドメーターの能力に根本的な違いがあるか？
• RQ5 適応的パラメータ設定下で、オドメーターのプライバシー境界における最小の漸近的損失は何か？この損失は避けられないか？

主な発見

• ε と δ が適応的に選択されても、プライバシー・フィルタは、既存の非適応的コンポジション定理と同等（定数要因の範囲内）の境界を達成できるように構築可能である。
• プライバシー・オドメーターは、非適応的コンポジション境界にほぼ一致するが、偏差項に追加の漸近的要因 √(log log n) を被る。
• この漸近的要因が本質的であることが証明された：適応的パラメータ設定下で有効な任意のプライバシー・オドメーターは、この損失を被る必要がある。これにより、フィルタとは明確な分離が示された。
• プライバシー・オドメーターの境界は、∑ε_i(e^{ε_i}−1)/2 + √(2∑ε_i²(log(110e) + 2log(log n / δ_g))) と表され、確率 1−δ_g 以上で成立する。
• ∑ε_i² が [1/n², 1] の範囲外にある場合、パラメータ γ を用いた細分化された調整により、log(log n) が log(1/γ) に置き換えられ、頑健性が維持される。
• 解析により、ε_i < 1/(10n) であるアルゴリズムは、利用価値とプライバシーの両方において無視できるため、意味のあるプライバシー損失の蓄積の下限として 1/n² を用いることが正当化される。