[論文レビュー] Compressive Mechanism: Utilizing Sparse Representation in Differential Privacy

Yang D. Li, Zhenjie Zhang+2 more|arXiv (Cornell University)|Jul 18, 2011

Privacy-Preserving Technologies in Data参考文献 44被引用数 54

ひとこと要約

本稿では、圧縮センシングを活用して統計クエリ結果のノイズを低減する、新たなプライバシー保護フレームワーク「圧縮メカニズム」を提案する。生データに対してノイズを適用するのではなく、圧縮されたサマリー・サンプルにノイズを適用することで、ノイズを O(√n) から O(log n) に低減し、差分プライバシーによる強いプライバシー保証を維持しながら、利用価値を顕著に向上させる。

ABSTRACT

Differential privacy provides the first theoretical foundation with provable privacy guarantee against adversaries with arbitrary prior knowledge. The main idea to achieve differential privacy is to inject random noise into statistical query results. Besides correctness, the most important goal in the design of a differentially private mechanism is to reduce the effect of random noise, ensuring that the noisy results can still be useful. This paper proposes the \emph{compressive mechanism}, a novel solution on the basis of state-of-the-art compression technique, called \emph{compressive sensing}. Compressive sensing is a decent theoretical tool for compact synopsis construction, using random projections. In this paper, we show that the amount of noise is significantly reduced from $O(\sqrt{n})$ to $O(\log(n))$, when the noise insertion procedure is carried on the synopsis samples instead of the original database. As an extension, we also apply the proposed compressive mechanism to solve the problem of continual release of statistical results. Extensive experiments using real datasets justify our accuracy claims.

研究の動機と目的

• 差分プライバシー機構に伴うノイズを低減し、クエリの正確性を低下させることを目的とする。
• データ表現におけるスパarsityを活用することで、差分プライバシー統計クエリの利用価値を向上させることを目的とする。
• 元来信号再構成を目的として開発された圧縮センシング技術を、効率的かつ正確なデータ公開を実現する差分プライバシーに応用することを目的とする。
• 時間経過に伴う統計結果の継続的公開をサポートできるようにメカニズムを拡張することを目的とする。
• 実世界のデータセットを用いて、メカニズムの正確性と効率性を実証的に検証することを目的とする。

提案手法

• 圧縮メカニズムは、元のデータベースのコンactなサマリーを生成するためにランダムプロジェクションを用い、データに内在するスパarsityを活用する。
• ノイズは生データに直接注入されるのではなく、圧縮されたサマリーに注入されることで、全体のノイズの大きさを低減する。
• ノイズが注入されたサマリーから元のクエリ結果を安定的に回復できるよう保証するため、制限等長性性質（RIP）に依存する。
• スパース表現と圧縮センシング再構成アルゴリズム（例：ベース・プライム）を用いて、ノイズが注入された圧縮サンプルから正確なクエリ結果を回復する。
• 継続的公開のため、動的サマリーを維持し、変化する圧縮表現に対してのみノイズを適用する。
• 感度解析を用いてノイズスケールをキャリブレーションし、(ε, δ)-差分プライバシーを保証する。

実験結果

リサーチクエスチョン

• RQ1 圧縮センシングを用いることで、プライバシーを保ちつつ差分プライバシークエリ結果のノイズを低減できるか？
• RQ2 生データにノイズを直接注入するのではなく、圧縮されたサマリー・サンプルにノイズを注入することで、より高い正確性が得られるか？
• RQ3 圧縮メカニズムは、強いプライバシー保証のもとで、時間経過に伴う統計結果の継続的公開をサポートできるか？
• RQ4 古典的なメカニズム（例：ラプラスまたはガウスメカニズム）と比較して、圧縮メカニズムにおけるノイズスケーリングはどのように異なるか？
• RQ5 データのスパarsityが、圧縮メカニズムの性能に及ぼす影響はどの程度か？

主な発見

• 圧縮メカニズムにより、ノイズが O(√n) から O(log n) に低減され、大規模データセットにおいて正確性が顕著に向上した。
• 実データセットを用いた実験では、従来の差分プライバシー機構よりも、圧縮メカニズムがクエリ正確性において優れていることが示された。
• ノイズ分散が圧縮ドメインで低減されているため、(ε, δ)-差分プライバシーを維持しながらも、より高い利用価値を達成している。
• スパース表現の使用により、限られたノイズ注入量でも、統計クエリの正確な再構成が可能である。
• 高次元データに対してもスケーラブルであり、効率的な継続的結果公開をサポートしている。
• 実証的結果により、理論的なノイズ低減効果が実際の状況でも成立しており、特にデータに内在するスパarsityが顕著な場合に顕著に現れている。