[論文レビュー] A Data- and Workload-Aware Algorithm for Range Queries Under Differential Privacy

Chao Li, Michael Hay+2 more|arXiv (Cornell University)|Oct 1, 2014

Privacy-Preserving Technologies in Data参考文献 18被引用数 7

ひとこと要約

本稿では、データ分布とワークロードの両方に適応する範囲クエリ向けの2段階的で微分プライベートなアルゴリズムであるDAWAを提案する。DAWAは、データドメインを適応的に分割し、ノイズスケーリングをデータ分布とワークロードに合わせて調整することで、最先端の手法よりも顕著に低い誤差を達成する。データに依存する手法とデータに依存しない手法の両方の長所を組み合わせることで、簡単なデータセットでは最大6.86倍の性能向上を達成し、複雑なデータセットでも同様の性能を維持する。

ABSTRACT

We describe a new algorithm for answering a given set of range queries under $ε$-differential privacy which often achieves substantially lower error than competing methods. Our algorithm satisfies differential privacy by adding noise that is adapted to the input data and to the given query set. We first privately learn a partitioning of the domain into buckets that suit the input data well. Then we privately estimate counts for each bucket, doing so in a manner well-suited for the given query set. Since the performance of the algorithm depends on the input database, we evaluate it on a wide range of real datasets, showing that we can achieve the benefits of data-dependence on both "easy" and "hard" databases.

研究の動機と目的

• 既存の微分プライベートメカニズムが、データ構造を無視する（データに依存しない）か、複雑で非一様なデータセットで失敗する（データに依存する）という限界に対処すること。
• データ構造を活用して誤差を低減しつつ、利用しにくいデータセットでも性能を損なわないメカニズムの開発。
• データに配慮した分割フレームワークにワークロードに配慮したノイズ割り当てを統合し、範囲クエリワークロードの精度を向上させること。
• 計算効率が良く、データの均一性に適応し、最適なバケット数を自動的に選択する微分プライベートな分割アルゴリズムの設計。
• 多様なデータ分布、特に事前にデータの性質が不明な実世界のシナリオにおいて、データに依存する精度向上と頑健性のバランスを達成すること。

提案手法

• ε₁のプライバシーバジェットを割り当てて、L1ノルムによる一様性からのずれに基づくコスト関数を最小化する新しい微分プライベートなアルゴリズムを用いて、データドメインを概ね一様な領域に分割する。
• 2段階目の段階で階層的クエリ戦略を適用し、ε₂のバジェットを用いて、さまざまな粒度の範囲クエリのノイズスケーリング要因を計算する。
• 同じ階層レベルのクエリ間で非一様なバジェット配分を導入し、特定のワークロードに合わせた微調整されたノイズ割り当てを可能にする。
• ワークロードの構造を活用してノイズ割り当てをガイドし、全体の誤差に最も寄与するクエリを優先することで、精度を向上させる。
• プライバシーバジェットをε₁（分割用）とε₂（推定用）に分割し、合成定理による形式的プライバシーガラントリーを用いて、全体としてε-微分プライベート性を保証する。
• 階層的測定システムを用いてバケットカウントのプライベート推定を行い、ノイズ付きの回答と最小二乗推定を組み合わせて一貫性のある推定値を生成する。

(b) Algorithm flow chart

実験結果

リサーチクエスチョン

• RQ1 微分プライベートメカニズムは、多様な実世界のデータセットにおいて、既存のデータに依存しない手法やデータに依存する手法よりも顕著に低い誤差を達成できるか？
• RQ2 データに配慮した分割とワークロードに配慮したノイズ割り当てをどのように統合することで、微分プライバシー下での範囲クエリの精度を向上させられるか？
• RQ3 データに依存するメカニズムの性能は、複雑で非一様なデータセットでどの程度低下するか。この問題は緩和可能か？
• RQ4 階層的クエリ間で適応的かつ非一様なノイズ割り当てが、全体のワークロード誤差に与える影響はどの程度か？
• RQ5 ユーザーがkのようなパラメータを事前に指定しなくても、最適な分割数を自動的に選択できるメカニズムは可能か？

主な発見

• 一様な領域が広いデータセットでは、DAWAは最先端のデータに依存する手法MWEMと比較して、平均クエリ誤差を最大6.86倍まで低減する。
• HEP-PHの引用ネットワークのような複雑なデータセットでは、ε=0.1でDAWAの平均クエリ誤差は722.3であり、データに依存しないPriveletメカニズムの196.6と同等の性能を示す。
• IPレベルのネットワークトレースデータセットでは、DAWAはデータに依存しないPriveletメカニズムを3.27倍の性能で上回り、実世界のデータに構造的特徴がある場合の顕著な向上を示す。
• プライベートな分割アルゴリズムは、P-HP や StructureFirst よりも高品質な分割を生成し、一様性とコストの両面で優れている。また、準線形時間で実行される。
• DAWAのワークロードに配慮したノイズ割り当てにより、同じ階層レベルのクエリ間で非一様なバジェット配分が可能となり、均一な割り当て戦略よりもより正確な推定が可能になる。
• 本メカニズムは、両者の長所を兼ね備えている：簡単なデータセットでは高い精度を発揮し、難易度の高いデータセットでも頑健な性能を維持する。データの複雑さについての事前知識が不要である。

Figure 2: Scaling allocation for the second level. $\lambda=0.5$ at the left node, and $\lambda=0.3$ at the right node.