[論文レビュー] Iterative Constructions and Private Data Release

Anupam Gupta, Aaron Roth+1 more|arXiv (Cornell University)|Jul 19, 2011

Privacy-Preserving Technologies in Data参考文献 12被引用数 14

ひとこと要約

この論文は、反復的データベース構築（IDC）アルゴリズムを用いた、微分プライバシーを満たすクエリ公開の汎用フレームワークを導入し、インタラクティブおよび非インタラクティブな両設定において、より高い精度を実現する。密度の高いグラフにおけるすべてのカットクエリを公開するための、Frieze-Kannanの低ランク行列分解に基づく新しいIDCを提案し、すべてのカットクエリの誤差バウンドを改善する。また、O(|V|^{1.5})の誤差を達成する非インタラクティブな合成データ生成法を提示するとともに、プライベートなランク1行列近似が、さらなる改善のための主要な未解決問題であると特定する。

ABSTRACT

In this paper we study the problem of approximately releasing the <em>cut function</em> of a graph while preserving differential privacy, and give new algorithms (and new analyses of existing algorithms) in both the interactive and non-interactive settings. Our algorithms in the interactive setting are achieved by revisiting the problem of releasing differentially private, approximate answers to a large number of queries on a database. We show that several algorithms for this problem fall into the same basic framework, and are based on the existence of objects which we call <em>iterative database construction</em> algorithms. We give a new generic framework in which new (efficient) IDC algorithms give rise to new (efficient) interactive private query release mechanisms. Our modular analysis simplifies and tightens the analysis of previous algorithms, leading to improved bounds. We then give a new IDC algorithm (and therefore a new private, interactive query release mechanism) based on the Frieze/Kannan low-rank matrix decomposition. This new release mechanism gives an improvement on prior work in a range of parameters where the size of the database is comparable to the size of the data universe (such as releasing all cut queries on dense graphs). We also give a non-interactive algorithm for efficiently releasing private <em>synthetic data</em> for graph cuts with error <em>O</em>(|<em>V</em>|1.5). Our algorithm is based on randomized response and a non-private implementation of the SDP-based, constant-factor approximation algorithm for cut-norm due to Alon and Naor. Finally, we give a reduction based on the IDC framework showing that an efficient, private algorithm for computing sufficiently accurate rank-1 matrix approximations would lead to an improved efficient algorithm for releasing private synthetic data for graph cuts. We leave finding such an algorithm as our main open problem.

研究の動機と目的

• グラフ上のすべてのカットクエリをプライベートに公開する課題に取り組むこと。
• 既存のプライベートクエリ公開メカニズムを一般化し、その精度バウンドを改善する統一されたフレームワークを開発すること。
• カット関数をほぼ正確に保つプライベートな合成グラフを生成するための効率的で非インタラクティブなアルゴリズムを設計すること。
• プライベートなランク1行列近似を、さらなる改善のための主要な未解決問題として特定すること。

提案手法

• プライベートクエリ公開のための包括的抽象化として、反復的データベース構築（IDC）アルゴリズムの概念を導入する。
• 線形クエリの効率的近似のため、Frieze-Kannanの低ランク行列分解に基づく新しいIDCアルゴリズムを開発する。
• IDCフレームワークを適用し、インタラクティブおよび非インタラクティブなクエリ公開メカニズムの両方における、改善された精度バウンドを導出する。
• ランダム化応答と非プライベートなSDPベースのカットノルム近似を組み合わせ、O(|V|^{1.5})の誤差を持つ非インタラクティブなプライベートな合成グラフを構築する。
• カットのためのプライベートな合成データ生成問題を、効率的でプライベートなランク1行列近似アルゴリズムの存在に還元する。
• プライベートなオラクルアクセスとラプラスノイズを用いた、区別者ベースのメカニズムを採用し、微分プライバシーを保証する。

実験結果

リサーチクエスチョン

• RQ1 汎用フレームワークは、既存の線形クエリのためのプライベートクエリ公開メカニズムの分析を統一し、改善できるか？
• RQ2 低ランク行列分解は、グラフのカットクエリのためのより正確な、微分プライベートなクエリ公開アルゴリズムを設計するために活用可能か？
• RQ3 グラフのカットのための非インタラクティブなプライベートな合成データ生成のための、最も良い誤差バウンドは何か？
• RQ4 プライベートなランク1行列近似は、グラフのカットのためのより良いプライベートな合成データをもたらすか？
• RQ5 効率的でプライベートな区別者を設計することで、合成データ生成における精度を向上させられるか？

主な発見

• 提案されたFrieze-Kannanに基づくIDCアルゴリズムは、密度の高いグラフにおけるすべてのカットクエリの公開において、誤差バウンドO(|E|^{1/4}|V| / ǫ^{1/2})を達成し、従来の方法を上回る。
• ランダム化応答とAlon-NaorのSDPベースのカットノルム近似を組み合わせた非インタラクティブなメカニズムは、プライベートな合成グラフ生成においてO(|V|^{1.5})の誤差を達成する。
• 汎用的なIDCフレームワークは、メディアンや乗法的ウェイトスの既存メカニズムの分析を単純化・ tightened し、精度バウンドの向上をもたらす。
• 乗法的ウェイトスIDCを用いた(α, β)-正確なプライベートクエリ公開メカニズムは、α = O(ǫ^{-1/2} (Tm log|V| log(1/δ))^{1/4})で達成され、Tは区別者の誤差許容度を表す。
• 効率的でプライベートなランク1行列近似アルゴリズムが存在すれば、グラフのカットのためのより良いプライベートな合成データが得られることを示唆し、これが主要な未解決問題である。
• このフレームワークは、対称行列に対するプライベートなランク1近似問題を解くことで、直接的にグラフのカットのためのより良いプライベートな合成データが得られることを示している。