[論文レビュー] Boosting the Accuracy of Differentially-Private Histograms Through Consistency

Michael Hay, Vibhor Rastogi+2 more|arXiv (Cornell University)|Apr 6, 2009

Privacy-Preserving Technologies in Data参考文献 14被引用数 6

ひとこと要約

本稿では、階層的または構造的関係（例：合計制約）を含むクエリを定式化し、制約付き推論により最も可能性の高い整合的推定値を計算することで、ノイズの多いクエリ出力に整合性制約を課すことで、微分プライバシー化されたヒストグラムの精度を向上させる後処理手法を提案する。標準的な微分プライバシークエリメカニズムよりも顕著に低い誤差を達成するが、元のノイズスケールが高めであっても同様に有効である。

ABSTRACT

We show that it is possible to significantly improve the accuracy of a general class of histogram queries while satisfying differential privacy. Our approach carefully chooses a set of queries to evaluate, and then exploits consistency constraints that should hold over the noisy output. In a post-processing phase, we compute the consistent input most likely to have produced the noisy output. The final output is differentially-private and consistent, but in addition, it is often much more accurate. We show, both theoretically and experimentally, that these techniques can be used for estimating the degree sequence of a graph very precisely, and for computing a histogram that can support arbitrary range queries accurately.

研究の動機と目的

• 標準的なノイズ追加メカニズムを上回る、微分プライバシー化ヒストグラムクエリの精度を向上させること。
• 複数のクエリが独立して回答された際に生じる、合計と部分合計の間に矛盾するカウントなどの整合性の欠如を解消すること。
• 既知の構造的制約（例：合計関係）を強制することで、より正確で整合性のある推定値を生成する後処理手法を開発すること。
• ノイズスケールが大きい場合でも、制約付き推論が単純なノイズ付き推定値を上回る精度を達成できることを示すこと。
• 特に階層的および次数列クエリ向けに、制約付き推論のための効率的で閉形式の解を得ること。

提案手法

• 真の答えが既知の整合性制約（例：合計 = 部分の合計）を満たすようなクエリの集合を定式化する。
• 標準的な微分プライバシー機構を用いて、クエリ集合に対するノイズ付きの答えを返し、微分プライバシーを保持する。
• すべての制約を満たしつつ、ノイズ付き出力に最も近い整合的推定値を見つけるために制約付き推論を適用する。
• 階層的ヒストグラムの場合、スパース領域を高レベルのノイズ付き観測によって検出できるように、木構造のクエリ集合（例：H）を用いる。
• 特定のヒストグラムタイプ（例：次数列、階層的範囲）における制約付き推論の閉形式解を活用し、効率性を確保する。
• データに依存しない決定的変換であるため、プライバシーを損なわず、ノイズ付き推定値の不整合を後処理で是正する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多い微分プライバシークエリ出力に整合性制約を課すことで、精度が向上するか？
• RQ2 階層的または合計ベースの構造的制約を含むより豊富なクエリセットを用いることで、最小限のクエリセットに比べて誤差が低減するか？
• RQ3 元のノイズスケールが大きい場合でも、制約付き推論が単純なノイズ付き推定値を上回る精度を達成できるか？
• RQ4 スパースデータ環境において、制約付き推論の精度は他のプライベートヒストグラム手法と比べてどうか？
• RQ5 次数列や範囲クエリのような一般的なヒストグラムワークロードにおいて、制約付き推論の閉形式解を導出できるか？

主な発見

• 制約付き推論手法は、ノイズスケールが高めであっても、元のノイズ付き出力よりも顕著に高い精度の推定値を生成する。
• スパースヒストグラムでは、ノイズスケールが log n 増加するものの、階層的クエリ戦略（H）はリーフレベル戦略（L）よりも低い誤差を達成する。
• 大規模グラフの次数列の推定において誤差を低減し、ネットワーク構造の精密な解析を可能にする。
• 制約付き推論ステップは、後処理変換であるため、微分プライバシーを損なわず、精度を向上させる。
• データベースサイズが増加するにつれて、Blumらの合成データ公開手法など既存手法を上回る性能を示す。これは誤差の安定的増加に起因する。
• 階層的クエリ構造と整合性強制を活用することで、任意の範囲クエリに対する正確なサポートが可能になる。