[論文レビュー] Bounding, Concentrating, and Truncating: Unifying Privacy Loss Composition for Data Analytics

Mark Cesar, Ryan Rogers|arXiv (Cornell University)|Apr 15, 2020

Privacy-Preserving Technologies in Data参考文献 15被引用数 4

ひとこと要約

本稿は、純粋なDP、有界範囲（BR）、集中DP（CDP）メカニズムを、適応的および非適応的選択の下で統合し、プライバシー損失の合成バウンドを統一する。メカニズムの順序に依存する最適な合成バウンドを提供するとともに、プライベートなトップ-$k$ クエリにための切り捨てガウスノイズを導入し、混合ワークロードにおいてもタイトなプライバシー保証を維持しながら、ユーティリティを顕著に向上させる。

ABSTRACT

Differential privacy (DP) provides rigorous privacy guarantees on individual's data while also allowing for accurate statistics to be conducted on the overall, sensitive dataset. To design a private system, first private algorithms must be designed that can quantify the privacy loss of each outcome that is released. However, private algorithms that inject noise into the computation are not sufficient to ensure individuals' data is protected due to many noisy results ultimately concentrating to the true, non-privatized result. Hence there have been several works providing precise formulas for how the privacy loss accumulates over multiple interactions with private algorithms. However, these formulas either provide very general bounds on the privacy loss, at the cost of being overly pessimistic for certain types of private algorithms, or they can be too narrow in scope to apply to general privacy systems. In this work, we unify existing privacy loss composition bounds for special classes of differentially private (DP) algorithms along with general DP composition bounds. In particular, we provide strong privacy loss bounds when an analyst may select pure DP, bounded range (e.g. exponential mechanisms), or concentrated DP mechanisms in any order. We also provide optimal privacy loss bounds that apply when an analyst can select pure DP and bounded range mechanisms in a batch, i.e. non-adaptively. Further, when an analyst selects mechanisms within each class adaptively, we show a difference in privacy loss between different, predetermined orderings of pure DP and bounded range mechanisms. Lastly, we compare the composition bounds of Laplace and Gaussian mechanisms based on histogram datasets.

研究の動機と目的

• 純粋なDP、有界範囲（BR）、集中DP（CDP）メカニズムの既存のプライバシー損失の合成バウンドを、適応的および非適応的設定の両方で統一すること。
• 非適応的かつ同質的な設定において、純粋なDPとBRメカニズムを組み合わせた場合の最適な合成バウンドを提供し、先行研究で知られているバウンドの間を滑らかに補間すること。
• 純粋なDPとBRメカニズムの順序が適応的合成におけるプライバシー損失に与える影響を分析し、非自明な依存関係を明らかにすること。
• プライベートなヒストグラムに対してラプラスとガウスメカニズムを比較し、同等のプライバシー条件下で切り捨てガウスノイズがより優れたユーティリティをもたらすことを示すこと。
• LinkedInのシステムなど既存のものよりも優れた性能を示す、切り捨てガウスノイズを用いた新しいプライベートなトップ-$k$ アルゴリズムの開発

提案手法

• プライバシーパラメータを事前に登録し、交換なしに選択可能な適応的合成の一般枠組みを導入し、メカニズムの順序付けを柔軟に可能にする。
• 同一のプライバシーパラメータを持つ純粋なDPとBRメカニズムの混合物に対する最適な非適応的合成バウンドを導出。これにより、古典的DPとBRバウンドの間を滑らかに補間できる。
• Rényi発散とzCDP（ゼロ集中DP）の合成を用いて、特に切り捨てが施された状況下でのガウスメカニズムのプライバシー損失を分析。
• ヒストグラムカウントに切り捨てガウスノイズを適用する新しいメカニズム、TruncGaussを提案。これにより尾部リスクが低減され、プライバシーとユーティリティのトレードオフが改善される。
• ノイズ追加後のしきい値結果に対して、後処理不変性を適用し、プライバシー損失の増加を防ぐ。
• 隣接するヒストグラムにおける複数のカウント更新のための全体的なzCDP保証を、イベント$E$と$E'$の和集合を用いて導出。

実験結果

リサーチクエスチョン

• RQ1 純粋なDPと有界範囲（BR）メカニズムの順序が、適応的合成における全体のプライバシー損失にどのように影響するか？
• RQ2 同一のプライバシーパラメータを持つ非適応的混合物における純粋なDPとBRメカニズムの最適な合成バウンドを導出できるか？
• RQ3 プライベートなヒストグラムクエリにおいて、ラプラスノイズではなく切り捨てガウスノイズを使用した場合のプライバシーとユーティリティのトレードオフはいかなるものか？
• RQ4 プライベートなトップ-$k$ クエリにおいて、同じ$ε$-$\delta$プライバシー保証下でラプラスとガウスメカニズムの合成バウンドを比較すると、どのような差が生じるか？
• RQ5 異種メカニズムの最適な合成バウンドは、特にメカニズムが適応的に選択される場合に、効率的に計算可能か？

主な発見

• 適応的合成におけるプライバシー損失は、純粋なDPとBRメカニズムの順序に依存し、2つのBRメカニズムは配置によって測定可能な差を示す。
• 非適応的設定において$m$ 個の純粋なDPと$k-m$ 個のBRメカニズムがある場合、最適な合成バウンドは$m=k$（純粋なDP）と$m=0$（BRのみ）のバウンドの間を滑らかに補間する。
• 切り捨てガウスノイズは、シフトされたガウス分布間のRényi発散を低減し、無限大ノイズよりもタイトなプライバシーバウンドをもたらす。
• 提案されたTruncGaussメカニズムは、隣接するヒストグラムにおける$\Delta$のカウント変化に対して、$\delta$-近似$\tfrac{\Delta}{2\sigma^2}$-zCDPを達成し、ユーティリティが向上する。
• プライベートなトップ-$k$ クエリにおいて、新しいガウスベースのアルゴリズムは、同じ$(\varepsilon,\delta)$-DP制約下で、ノイズの大きさとプライバシー効率の両面でラプラスベースの手法を上回る。
• TruncGaussにおける切り捨てレベルは固定であり、同等のラプラスベースの手法よりも低く設定されており、尾部リスクの低減と正確性の向上に寄与する。