[論文レビュー] A simple and practical algorithm for differentially private data release

Moritz Hardt, Katrina Ligett+1 more|arXiv (Cornell University)|Dec 21, 2010

Privacy-Preserving Technologies in Data参考文献 28被引用数 303

ひとこと要約

本稿では、Exponential MechanismとMultiplicative Weightsを組み合わせることで、高い精度で合成データを公開する、シンプルで実用的な微分プライバシー手法MWEMを紹介する。理論的保証が最先端水準に達し、実世界のデータセットにおいて、先行手法と比較して最大3桁の精度向上を達成している。また、数千の属性を持つ分野へもスケーリング可能である。

ABSTRACT

We present new theoretical results on differentially private data release useful with respect to any target class of counting queries, coupled with experimental results on a variety of real world data sets. Specifically, we study a simple combination of the multiplicative weights approach of [Hardt and Rothblum, 2010] with the exponential mechanism of [McSherry and Talwar, 2007]. The multiplicative weights framework allows us to maintain and improve a distribution approximating a given data set with respect to a set of counting queries. We use the exponential mechanism to select those queries most incorrectly tracked by the current distribution. Combing the two, we quickly approach a distribution that agrees with the data set on the given set of queries up to small error. The resulting algorithm and its analysis is simple, but nevertheless improves upon previous work in terms of both error and running time. We also empirically demonstrate the practicality of our approach on several data sets commonly used in the statistical community for contingency table release.

研究の動機と目的

• 利用価値とプライバシーのバランスを保ちつつ、強固な理論的保証を持つ微分プライバシー手法を開発すること。
• 従来の微分プライバシー技術がしばしば過剰なノイズを追加する傾向にあるのと比較し、実世界のデータセットにおける精度を向上させること。
• クエリ構造の深い数学的理解が不要な、実装および使用が簡単な手法を構築すること。
• ドメインサイズが最大2^1000に達するような高次元データセットへもスケーリングできること。
• 統計的性質を保持する一貫性があり、後続処理に互換性のある合成データ生成を可能にすること。

提案手法

• アルゴリズムは、データドメイン上の近似分布を反復的に精緻化するために、Multiplicative Weights更新則を用いる。
• 現在の近似と最も整合性のないクエリを優先的に選択するため、Exponential Mechanismを用いてクエリを選定する。
• 各クエリはLaplaceメカニズムを介して微分プライバシーで回答され、ε-微分プライバシーが保証される。
• 近似分布の因数分解表現を維持することで、高次元データにおける計算を効率化する。
• 可能な限り属性を独立成分に動的に分割することで、計算複雑度を低減する。
• スケーラブルな並列実装を備えたMultiplicative Weightsを統合し、最大1000属性のデータセットをサポートする。

実験結果

リサーチクエスチョン

• RQ1 シンプルで汎用的なアルゴリズムが、実世界のデータセットにおいて、従来の微分プライバシー手法を上回る精度を達成できるか？
• RQ2 Exponential MechanismとMultiplicative Weightsの統合が、クエリ精度の向上とノイズの低減にどのように寄与するか？
• RQ3 ドメインサイズが2^1000に達するような高次元データへ、どの程度スケーリング可能か？
• RQ4 近似分布の因数分解表現が、精度を損なわずに実行時間を著しく短縮できるか？
• RQ5 特定のクエリクラス（範囲クエリ、連関表、データキューブなど）に特化したアルゴリズムを上回れるか？

主な発見

• 固定されたプライバシーパラメータのもとで、複数の実世界データセットにおける範囲クエリに対して、MWEMは先行研究と比較して最大3桁の精度向上を達成した。
• 連関表公開ベンチマークにおいて、MWEMは全テスト統計指標で先行研究を上回った。
• データキューブ公開においては、特定の最適化基準に特化した専用アルゴリズムをも凌駆し、汎用性の優位性を示した。
• ドメインサイズが2^1000に達するデータセットへもスケーリング可能であり、先行手法の限界をはるかに超えて、数千の属性を処理できた。
• Adultデータセットを用いた実験では、無関係な属性（p=0.1の確率で追加）を無視する形で、低速な実行時間と最大誤差を維持した。
• 合計実行時間の大部分は、プライベートデータセット上のクエリ評価に起因しており、因数分解されたMWEM部は実行時間にほとんど寄与しなかった。