[論文レビュー] Efficient Batch Query Answering Under Differential Privacy

Chao Li, Gerome Miklau|arXiv (Cornell University)|Mar 7, 2011

Privacy-Preserving Technologies in Data参考文献 12被引用数 6

ひとこと要約

本稿では、微分プライバシーにおける行列機構の近似的最適戦略クエリを計算するための効率的なアルゴリズム、LSA（低ランク戦略近似）を提案する。この手法は、バッチクエリの回答における誤差を顕著に低減する。ワークロードのスペクトル的性質を活用し、特異値分解を用いて最適戦略を近似することで、LSAは理論的最適値の1.26倍以内の誤差を達成する。これは、特に高次元において、ウェーブレット法など従来手法と比較して最大10倍の性能向上を示している。

ABSTRACT

Differential privacy is a rigorous privacy condition achieved by randomizing query answers. This paper develops efficient algorithms for answering multiple queries under differential privacy with low error. We pursue this goal by advancing a recent approach called the matrix mechanism, which generalizes standard differentially private mechanisms. This new mechanism works by first answering a different set of queries (a strategy) and then inferring the answers to the desired workload of queries. Although a few strategies are known to work well on specific workloads, finding the strategy which minimizes error on an arbitrary workload is intractable. We prove a new lower bound on the optimal error of this mechanism, and we propose an efficient algorithm that approaches this bound for a wide range of workloads.

研究の動機と目的

• 任意のワークロードに対して、微分プライバシーにおけるバッチクエリ回答の誤差を最小化する課題に対処すること。
• 行列機構の最適戦略を計算することが計算的に困難であるという点を克服し、実行可能なかつ近似可能なアルゴリズムを設計すること。
• ウェーブレット法や階層的木構造といった従来の戦略を凌駕するために、ワークロード固有の構造に適応した戦略を設計すること。
• ワークロードの分離と一般化技術を用いて、大規模かつ高次元のワークロードに対しても行列機構の効率的導入を可能にすること。
• $(\epsilon,\delta)$-微分プライバシーが、$\epsilon$-微分プライバシーと比較して、戦略設計においてより優れた性能を発揮できることを示すこと。

提案手法

• ワークロード行列の切断特異値分解（SVD）を用いて、行列機構の最適戦略行列を近似するLSAアルゴリズムを提案する。
• スペクトル解析を用いて、微分プライバシー下での期待誤差を最小化するために利用可能なワークロードの低ランク成分を同定する。
• ワークロード分離を適用して、大規模かつ高次元のワークロードをより小さなサブワークロードに分解し、スケーラブルな戦略計算を可能にする。
• ドメインサイズをサンプリングによって縮小することで、大規模ドメイン上でも効率的な戦略計算が可能になるよう、ワークロード一般化を導入する。
• 摂動を加えた戦略クエリ結果から、線形回帰を用いて最終的なワークロードの回答を推定することで、冗長性の活用による整合性確保と誤差低減を実現する。
• 最適誤差がワークロード行列の特異値の二乗和によって上限付けられることを活用し、戦略の品質を評価する基準として用いる。

実験結果

リサーチクエスチョン

• RQ1 任意のワークロードに対して、理論的最適誤差境界に近い戦略を計算する効率的アルゴリズムを設計できるか？
• RQ2 LSAアルゴリズムの性能は、さまざまなワークロードタイプや次元において、ウェーブレット法や階層的木構造といった従来手法と比較してどのように異なるか？
• RQ3 ワークロード分離と一般化技術を用いることで、計算コストをどの程度低減できるか、かつ誤差性能に顕著な劣化を来さないか？
• RQ4 $(\epsilon,\delta)$-微分プライバシーは、$\epsilon$-微分プライバシーと比較して、誤差と効率の観点からより優れた戦略設計を可能にするか？
• RQ5 ワークロードのスペクトル的構造は、微分プライバシークエリ回答における達成可能な誤差にどのように影響を与えるか？

主な発見

• LSAアルゴリズムは、理論的最適境界の1.26倍の誤差を達成し、高次元ワークロードにおいてウェーブレット法（4.17倍）や階層的木構造（1.78倍）と比較して顕著に優れている。
• 32×32ドメインにおける$\textsc{AllRange}(16,8,8)$ワークロードでは、LSAは最適境界の1.07倍の誤差にまで低減したのに対し、ウェーブレット法は4.17倍であり、3.9倍の改善効果を示した。
• 高平均カバレッジを持つランダム範囲クエリワークロードでは、LSAはウェーブレット戦略と比較して誤差を1桁以上低減した。
• ワークロード分離により、LSAの実行時間は32×32ドメインで5079秒から2.44秒にまで短縮されたが、誤差の増加は無視できる程度であった。
• ワークロード一般化により、1024のドメインサイズにおいて計算コストを18倍まで低減したが、近似的最適誤差性能を維持した。
• 理論的分析により、行列機構における最適誤差がワークロード行列の特異値の二乗和によって上限付けられることを確認し、戦略品質のベンチマークとしての有効性を裏付けた。