[論文レビュー] Optimizing Histogram Queries under Differential Privacy

Chao Li, Michael Hay+3 more|arXiv (Cornell University)|Dec 23, 2009

Privacy-Preserving Technologies in Data参考文献 17被引用数 13

ひとこと要約

この論文は、線形カウントクエリのワークロードに対する微分プライバシーの下で、それらを補助クエリの戦略に変換することで、新たなアプローチとして行列機構を導入する。ランク制約付き半定値計画法を用いて戦略を最適化することで、相関のあるノイズを導入し、標準的なラプラス機構よりも顕著に精度を向上させる。特に相関のあるクエリに対して顕著な改善が得られ、微分プライバシーを保持したままである。

ABSTRACT

Differential privacy is a robust privacy standard that has been successfully applied to a range of data analysis tasks. Despite much recent work, optimal strategies for answering a collection of correlated queries are not known. We study the problem of devising a set of strategy queries, to be submitted and answered privately, that will support the answers to a given workload of queries. We propose a general framework in which query strategies are formed from linear combinations of counting queries, and we describe an optimal method for deriving new query answers from the answers to the strategy queries. Using this framework we characterize the error of strategies geometrically, and we propose solutions to the problem of finding optimal strategies.

研究の動機と目的

• 微分プライバシーの下で、相関のある線形カウントクエリのワークロードを回答する際、標準ラプラス機構の精度が不十分である問題に対処すること。
• 線形クエリのワークロードに対するより正確な回答を導出する一般枠組みを構築すること。そのために、クエリを補助クエリの戦略に変換すること。
• 最適戦略の特定を、合計誤差を最小化するランク制約付き半定値計画問題として形式化すること。
• 既存の手法（ウェーブレット法や階層的メソッドなど）が行列機構の特定のインスタンスとして統合され、説明可能であることを示すこと。
• 安定的または繰り返し発生するワークロードに対して、一度限りの最適化を実施し、プライバシーを損なわずに実用的有用性を向上させること。

提案手法

• 行列機構は補助クエリの戦略を用い、そのノイズ付き回答をラプラス機構で得た後、それらを組み合わせてワークロードクエリの推定値を算出する。
• 誤差の分布を誤差プロファイル行列と感度スケーリングを用いてモデル化し、クエリ間の分散を最小化する推定を可能にする。
• 最適戦略は、合計誤差を最小化しつつ微分プライバシーを保持するランク制約付き半定値計画問題を解くことで計算される。
• この手法は $(\epsilon, \delta)$-微分プライバシーに対応しており、この設定における改善された誤差バウンドを含んでおり、定理5.22で形式化されている。
• フーリエ変換と線形計画法を用いることで、最小限の精度損失で整数整合性を達成できる。
• フレームワークは、一度の最適化フェーズを経て効率的なデプロイメントを可能にし、繰り返し発生するワークロードに適している。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーの下で、相関のある複数のカウントクエリを回答する精度をどのように向上させられるか？
• RQ2 クエリ間の相関を活用する戦略を設計することで、それらを独立に扱うのではなく誤差を低減できるか？
• RQ3 与えられた線形クエリのワークロードに対して、最適戦略を計算するための最適化フレームワークは何か？
• RQ4 既存の手法（ウェーブレット法や階層的メソッドなど）は、提案された行列機構とどのように関係しているか？
• RQ5 行列機構は、微分プライバシーの既知の理論的下界に一致する誤差バウンドを達成できるか？

主な発見

• 最適戦略クエリを用いることで、相関のあるノイズを導入することで、標準ラプラス機構よりも顕著に低い誤差を達成する。
• 与えられたワークロードに対する最適戦略は、ランク制約付き半定値計画問題を解くことで計算可能であり、最適化問題が形式化される。
• このフレームワークは、ウェーブレット法や階層的メソッドという2つの既存手法を、行列機構の特定のインスタンスとして説明・統合する。
• $(\epsilon, \delta)$-微分プライバシー下での誤差バウンドが向上し、定理5.22で修正され、よりきついバウンドが提供されている。
• 安定的または繰り返し発生するワークロードに対しては、戦略最適化の計算コストが一度だけ発生するため、効率的なデプロイメントが可能である。
• 最適戦略設計を活用することで、低順序のマージナルや構造的クエリワークロードの正確な推定が可能になる。