[論文レビュー] Differentially Private Linear Sketches: Efficient Implementations and Applications

Fuheng Zhao, Dan Qiao+4 more|arXiv (Cornell University)|May 19, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、初期化時にガウスノイズを追加することにより、微分プライバシーを満たす線形スケッチを提案する。これにより、ターンスタイルモデルにおいて、プライバシー保護型の頻度推定、トップ-Kアイテム同定、および分位数近似が可能になる。このアプローチは、誤差増大を最小限に抑えつつ高い実用性を維持し、集中型微分プライバシーを達成する。また、理論的誤差境界を備えた、ターンスタイルモデルにおける初の微分プライバシーを満たす分位数スケッチを提供する。

ABSTRACT

Linear sketches have been widely adopted to process fast data streams, and they can be used to accurately answer frequency estimation, approximate top K items, and summarize data distributions. When data are sensitive, it is desirable to provide privacy guarantees for linear sketches to preserve private information while delivering useful results with theoretical bounds. We show that linear sketches can ensure privacy and maintain their unique properties with a small amount of noise added at initialization. From the differentially private linear sketches, we showcase that the state-of-the-art quantile sketch in the turnstile model can also be private and maintain high performance. Experiments further demonstrate that our proposed differentially private sketches are quantitatively and qualitatively similar to noise-free sketches with high utilization on synthetic and real datasets.

研究の動機と目的

• 線形スケッチにおける微分プライバシーを実現しつつ、効率性や正確性といったそのコアな特性を保持すること。
• 先行研究が挿入のみまたは制限付き削除に限定されていたのに対し、本手法はターンスタイルモデルにおいて挿入と削除の両方をサポートすること。
• 理論的誤差境界を備えた、ターンスタイルモデルにおける初の微分プライバシーを満たす分位数スケッチの開発。
• 任意のクエリ操作に対してプライバシーが保たれるよう、後処理の不変性を確保すること。
• 合成データおよび実世界のデータセットにおいて、プライベートスケッチがノイズなしの同等物に非常に近い実用性を達成することを示すこと。

提案手法

• 更新やクエリ手順を変更せずに、初期化時にスケッチ行列にガウスノイズを追加することで、集中型微分プライバシーを達成する。
• ガウスメカニズムを活用することで、強いプライバシー保証を実現しつつ、元のスケッチ構造と特性を維持する。
• プライベートなカウントスケッチを基盤として、ターンスタイルモデル向けの微分プライバシーを満たす分位数スケッチ（DP DCS）を構築する。
• すべてのアイテムに対して推定誤差の上界の均一なバウンドを導出することで、すべてのクエリに対して頑健な性能を保証する。
• 理想のランダムハッシュ関数（実際には暗号的関数に置き換える）を用いることで、ランダム性とプライバシーを確保する。
• 後処理の不変性を適用し、プライバシー保証が低下しないように、任意の数のクエリを許容する。

実験結果

リサーチクエスチョン

• RQ1 初期化時でのみノイズを追加することで、実用性への影響を最小限に抑えつつ、線形スケッチを微分プライバシー化できるか？
• RQ2 提案手法は、プライバシーと正確性を維持したまま、ターンスタイルモデルにおける挿入と削除の両方をサポートできるか？
• RQ3 プライベートな線形スケッチを用いて、ターンスタイルモデルにおける初の微分プライバシーを満たす分位数スケッチを構築できるか？
• RQ4 プライベートスケッチの誤差は、データベースサイズ、プライバシー予算、ユニバースサイズにどのように依存するか？
• RQ5 プライベートスケッチは、カウントミニムが持つ「下限推定なし」の性質を保持しつつ、微分プライバシーを満たすことができるか？

主な発見

• 提案された微分プライバシー線形スケッチは、高い実用性を維持しており、平均ランク誤差が理論的上限 γ·N = 10³（N = 10⁵ 時）の1桁下に抑えられている。
• DP DCSでは、等間隔に配置された分位数の数を増やしても平均ランク誤差は増加せず、分位数解像度にかかわらず安定した性能を示している。
• プライバシー予算の低下（例：ρ = 0.1）に伴い平均ランク誤差は増加するが、特にNが大きい場合にはデータベースサイズに比べて増加幅は小さい。
• プライベートなカウントミニムスケッチは、ラプラスベースの手法がその性質を破るのとは異なり、高い確率で「下限推定なし」の性質を保持している。
• supₓ|f̂(x)−f̃(x)| に対する均一な誤差バウンドを導出することで、よりきめ細かい全体誤差制御が可能となり、三角不等式を用いて点ごとのバウンドと組み合わせられる。
• ガウスメカニズムを用いることで集中型微分プライバシーを達成し、二項ノイズによる近似的なDPに比べてより強い保証を提供する。また、実用性および特性保持の点でラプラスベースの手法を上回っている。