[論文レビュー] Differential Privacy for Growing Databases

Rachel Cummings, Sara Krehbiel+2 more|arXiv (Cornell University)|Mar 16, 2018

Privacy-Preserving Technologies in Data参考文献 14被引用数 5

ひとこと要約

本稿は、時間の経過とともにデータが蓄積される動的成長型データベースにおける、適応的解析のための新しい微分プライバシー手法を提案する。プライバシーと正確性を保ちつつ、無制限のデータ成長に対しても適応可能な、一般化された手法BBSchedulerとBBImproverを提案する。さらに、静的レベルの正確性を無制限に維持できる、特殊なアルゴリズムPMWGを提案する。このPMWGは、プライベートな乗算的ウェイト法を動的設定に拡張し、正確性の保証を維持する。

ABSTRACT

We study the design of differentially private algorithms for adaptive analysis of dynamically growing databases, where a database accumulates new data entries while the analysis is ongoing. We provide a collection of tools for machine learning and other types of data analysis that guarantee differential privacy and accuracy as the underlying databases grow arbitrarily large. We give both a general technique and a specific algorithm for adaptive analysis of dynamically growing databases. Our general technique is illustrated by two algorithms that schedule black box access to some algorithm that operates on a fixed database to generically transform private and accurate algorithms for static databases into private and accurate algorithms for dynamically growing databases. These results show that almost any private and accurate algorithm can be rerun at appropriate points of data growth with minimal loss of accuracy, even when data growth is unbounded. Our specific algorithm directly adapts the private multiplicative weights algorithm to the dynamic setting, maintaining the accuracy guarantee of the static setting through unbounded data growth. Along the way, we develop extensions of several other differentially private algorithms to the dynamic setting, which may be of independent interest for future work on the design of differentially private algorithms for growing databases.

研究の動機と目的

• 時間の経過とともにデータが継続的に蓄積される動的成長型データベースにおける、適応的解析のための微分プライバシー手法の不足を解消すること。
• 任意のプライベートで正確な静的アルゴリズムを、最小限の正確性の損失で成長型データベースに適応可能な汎用的変換手法を開発すること。
• プライベートな乗算的ウェイト法を動的設定に直接拡張し、無制限のデータ成長下でも正確性の保証を維持できる特殊なアルゴリズムPMWGを設計すること。
• 動的データベース設定における一般的手法および特定手法の両方について、形式的なプライバシーと正確性の保証を提供すること。

提案手法

• BBSchedulerは、成長するデータベース上でブラックボックスのプライベートアルゴリズムを周期的に再実行する。プライバシー損失を制御するため、指数的に減少するプライバシーパラメータを用いる。
• BBImproverは、各データ更新後にブラックボックスアルゴリズムを実行し、適応的ノイズスケーリングと合成境界を用いてプライバシーを維持する。
• PMWGアルゴリズムは、パブリックなヒストグラムを動的に維持し、ノイズを考慮したクエリルーティング機構を用いて「難しい」クエリを効率的に区別・処理する。
• データ成長に伴う真のデータベースとパブリックヒストグラムとの間の統計的発散の増加を制御するため、新しい相対エントロピーの境界（補題15）を導出する。
• アルゴリズムは、$α/3$-正確な答えを返す微分プライベートなサブルーチン、Numeric Sparseを用いることで、全体の正確性を保証する。
• プライバシーと正確性は、合成定理を用いて証明され、ノイズパラメータはデータベースのサイズと時間経過に伴うクエリ負荷に合わせて調整される。

実験結果

リサーチクエスチョン

• RQ1 静的データベース用に開発された既存の微分プライバシー手法を、無制限のデータ成長が想定される動的設定に一般化して適用可能か？
• RQ2 適応的解析における成長型データベースで、微分プライバシーと時間に依存しない正確性を両立させるスケジューリング戦略は何か？
• RQ3 プライベートな乗算的ウェイト法を動的設定に拡張可能か？ その場合、正確性の保証は維持できるか？
• RQ4 動的データベースにおいて、時間の経過とともに「難しい」クエリの数はどのように増加するか？ また、正確性を維持するためにその増加を束縛可能か？
• RQ5 動的微分プライベート解析において、クエリ予算、プライバシーパラメータ、正確性の間のトレードオフは何か？

主な発見

• BBSchedulerは$(\epsilon,0)$-微分プライバシーを満たし、クエリ総数に依存しない動的正確性$\alpha_d = O\left(\frac{\log N \log k}{\epsilon n}\right)^{1/5}$を達成する。
• BBImproverは、時間に依存しないクエリ予算下でもプライバシーと正確性の保証を提供するが、正確性はクエリ予算に従って対数的に低下する。
• PMWGアルゴリズムは、無制限のデータ成長下でも静的プライベートな乗算的ウェイト法と同等の正確性を維持する。正確性は$\alpha = O\left(\frac{\log(Nn)\log(\kappa n/\beta)}{n\epsilon}\right)^{1/3}$である。
• 時刻$t$までにPMWGが処理する「難しい」クエリの数は、$\sum_{\tau=n}^{t} h_\tau \leq \frac{36}{\alpha^2}\left(\log N + \sum_{\tau=n+1}^{t} \left(\frac{\log N}{\tau} + \frac{\log(\tau-1)}{\tau} + \log(\frac{\tau}{\tau-1})\right)\right)$で束縛される。
• $(\epsilon,\delta)$-微分プライバシーの下では、PMWGは$\alpha = O\left(\frac{\log^{1/2}(Nn)\log(\kappa n/\beta)\log^{1/2}(1/\delta)}{n\epsilon}\right)^{1/2}$を達成し、$\delta > 0$が小さい場合に正確性が向上することが示された。