[論文レビュー] Fast Private Data Release Algorithms for Sparse Queries

Avrim Blum, Aaron Roth|arXiv (Cornell University)|Nov 29, 2011

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

この論文は、データの宇宙に依存する要素が多項式個しか存在しないスパースな統計的クエリに答えるための効率的で微分プライベートなアルゴリズムを提示する。ランダムプロジェクションとノイズ注入を用いることで、宇宙サイズ |X| に依存しない精度を達成し、データベースサイズ n とクエリのスパarsity m に対して多項式時間の実行時間を持つ。これにより、無限大の宇宙サイズの設定でも実用的な展開が可能になる。

ABSTRACT

We revisit the problem of accurately answering large classes of statistical queries while preserving differential privacy. Previous approaches to this problem have either been very general but have not had run-time polynomial in the size of the database, have applied only to very limited classes of queries, or have relaxed the notion of worst-case error guarantees. In this paper we consider the large class of <em>sparse</em> queries, which take non-zero values on only polynomially many universe elements. We give efficient query release algorithms for this class, in both the interactive and the non-interactive setting. Our algorithms also achieve better accuracy bounds than previous general techniques do when applied to sparse queries: our bounds are independent of the universe size. In fact, even the runtime of our interactive mechanism is independent of the universe size, and so can be implemented in the “infinite universe” model in which no finite universe need be specified by the data curator.

研究の動機と目的

• 大規模なスパース統計的クエリのクラスに対して、効率的で微分プライベートなアルゴリズムを開発すること。
• データの宇宙サイズ |X| に比例してスケーリングする従来の一般用途の微分プライベートメカニズムの実行時間と精度の制限を克服すること。
• ドメイン知識を持つ専門家が関心を持つ意味のあるスパースクエリに焦点を当てることで、専門家向けの実用的なプライベートデータ分析を可能にすること。
• インタラクティブおよび非インタラクティブなクエリ公開設定の両方で、計算効率と強い精度保証を達成すること。

提案手法

• r-独立な要素を持つランダムプロジェクション行列を用いて、データベースを低次元表現に圧縮する。
• 投影されたデータにラプラスノイズを加えることで、(ε, δ)-微分プライバシーを確保する。
• ジョンソン＝リンデンストラウス型の集中不等式を用いて、ランダムプロジェクションによる歪みを制御する。
• ラプラスおよびラデマッハ確率変数の和の尾部確率を用いて、プライバシーに起因する誤差を上限付ける。
• すべてのクエリに対する答えをエンコードする非インタラクティブなデータ構造を構築し、高速な評価を可能にする。
• クエリのスパarsity（m-スパース）を活用して、精度を |X| に依存させず、m、n、k にのみ依存する境界を達成する。

実験結果

リサーチクエスチョン

• RQ1 スパースクエリの大規模なクラスに対して、効率的（多項式時間）かつ高精度な微分プライベートなクエリ公開アルゴリズムを設計できるか？
• RQ2 特に |X| が指数的に大きい場合に、データの宇宙サイズ |X| に依存しない精度を達成できるか？
• RQ3 多項式時間の実行時間で、非自明な精度を達成しつつ、超多項式のクエリ数を扱える非インタラクティブメカニズムを設計できるか？
• RQ4 有限な属性値の上限がない無限宇宙モデルでも、アルゴリズムが動作可能か？
• RQ5 スパースクエリのプライバシーと精度を保ちつつ、次元削減を効果的に行うためにランダムプロジェクションが利用可能か？

主な発見

• インタラクティブメカニズムは、1クエリあたりの実行時間が Õ(m/α²) で、|X| に依存しない。これにより、無限宇宙設定でも利用可能になる。
• 非インタラクティブメカニズムは、n、m、log|X| に対して多項式時間で実行され、α-精度が Õ(√(log k / (m log(1/δ)) / (εn)))) で上限付けられる。
• 精度の境界は |X| に依存せず、誤差が log|X| に比例する一般メカニズムに比べて顕著な改善を示す。
• 非インタラクティブメカニズムは、超多項式の数の結合（例：Cd−log n）を扱え、サイズが dk のクラスに対して非自明な精度と多項式時間の実行を達成する。
• アルゴリズムは適応的クエリ選択に対して頑健であり、合成のもとでもプライバシーを維持する。
• フレームワークにより、クエリがスパースでデータ宇宙が大きくあるいは無限大であっても、ドメインエキスパートにとって有用なプライベートなデータ公開が可能になる。