[論文レビュー] Calibrate: Frequency Estimation and Heavy Hitter Identification with Local Differential Privacy via Incorporating Prior Knowledge

Jinyuan Jia, Neil Zhenqiang Gong|arXiv (Cornell University)|Dec 5, 2018

Privacy-Preserving Technologies in Data参考文献 20被引用数 5

ひとこと要約

本稿では、統計的推論を用いてノイズと真のアイテム頻度に関する事前知識を組み込むことで、局所的微分プライバシー（LDP）下での周波数推定とヒートハッカー同定を向上させる後処理手法Calibrateを提案する。事前知識を確率分布としてモデル化し、ベイズ更新を用いて補正された周波数推定値を計算することで、推定誤差を顕著に低減する。OUE-Zeroなどの最先端手法と比較して、ε=5における相対的改善率が最大97%に達する。

ABSTRACT

Estimating frequencies of certain items among a population is a basic step in data analytics, which enables more advanced data analytics (e.g., heavy hitter identification, frequent pattern mining), client software optimization, and detecting unwanted or malicious hijacking of user settings in browsers. Frequency estimation and heavy hitter identification with local differential privacy (LDP) protect user privacy as well as the data collector. Existing LDP algorithms cannot leverage 1) prior knowledge about the noise in the estimated item frequencies and 2) prior knowledge about the true item frequencies. As a result, they achieve suboptimal performance in practice. In this work, we aim to design LDP algorithms that can leverage such prior knowledge. Specifically, we design ${Calibrate}$ to incorporate the prior knowledge via statistical inference. ${Calibrate}$ can be appended to an existing LDP algorithm to reduce its estimation errors. We model the prior knowledge about the noise and the true item frequencies as two probability distributions, respectively. Given the two probability distributions and an estimated frequency of an item produced by an existing LDP algorithm, our ${Calibrate}$ computes the conditional probability distribution of the item's frequency and uses the mean of the conditional probability distribution as the calibrated frequency for the item. It is challenging to estimate the two probability distributions due to data sparsity. We address the challenge via integrating techniques from statistics and machine learning. Our empirical results on two real-world datasets show that ${Calibrate}$ significantly outperforms state-of-the-art LDP algorithms for frequency estimation and heavy hitter identification.

研究の動機と目的

• 既存のLDPアルゴリズムが事前知識を活用できないため、周波数推定とヒートハッカー同定において性能が最適でない問題に対処すること。
• 推定周波数におけるノイズとアイテム周波数の真の分布に関する事前知識を組み込むことで、LDPにおける推定誤差を低減すること。
• 既存のLDPアルゴリズムのコアメカニズムを変更せずに、任意のLDPアルゴリズムに追加可能な後処理フレームワークを設計すること。
• ノイズと真の周波数に関する事前知識を確率分布としてモデル化し、ベイズ推論を用いて補正された周波数推定値を計算すること。
• 実世界のデータセットを用いた実験により、Calibrateがさまざまなプライバシー予算において最先端のLDPアルゴリズムを上回ることを実証すること。

提案手法

• 推定周波数におけるノイズに関する事前知識を確率分布 $ p_s(\delta) $ としてモデル化し、真の周波数に追加されるノイズ $ \delta $ の分布を表す。
• 真のアイテム周波数に関する事前知識を確率分布 $ p_f(k) $ としてモデル化し、真の周波数 $ k $ の発生確率を表す。
• ベイズ推論を用いて条件付き確率分布 $ p(f|\hat{f}) $ を計算する。ここで $ \hat{f} $ は既存のLDPアルゴリズムによる推定周波数である。
• 補正された周波数を、条件付き分布 $ p(f|\hat{f}) $ の平均として計算し、最終的な推定値とする。
• データスパarsityを扱うために、統計的および機械学習的手法を用いて2つの事前分布 $ p_s $ と $ p_f $ を推定する。
• Calibrateを任意のLDPアルゴリズムの集計フェーズの後処理ステップとして統合し、即時適用可能な改善を実現する。

実験結果

リサーチクエスチョン

• RQ1 LDP推定周波数におけるノイズに関する事前知識が、周波数推定の精度向上に寄与するか？
• RQ2 アイテム周波数の真の分布に関する事前知識が、LDPにおける推定誤差をさらに低減できるか？
• RQ3 統計的推論を用いてノイズと真の周波数の両方の事前知識を統合することは、OUE-Zeroなどの既存の後処理手法と比較してどのように優れているか？
• RQ4 Calibrateは、さまざまなプライバシー予算と閾値において、ヒートハッカー同定のパフォーマンスをどの程度向上させるか？
• RQ5 初期推定値のノイズが小さいため、プライバシー予算が高い場合にCalibrateの性能向上が顕著になるか？

主な発見

• Kosarakデータセットでは、ε=5におけるOUE- CalibrateはOUE-Zeroと比較して推定誤差が97%相対的に改善された一方、ε=1では16%にとどまった。
• Retail Market Basketデータセットでは、ε=5におけるOUE- CalibrateはOUE-Zeroと比較して65%の相対的改善を示したが、ε=1では2.4%にとどまった。
• Calibrateはヒートハッカー同定においてOUE-Zeroを顕著に上回り、特に有意水準未満の閾値において顕著であった。これは、信頼性の低い低頻度推定値をより適切に処理できたためである。
• OUE- Calibrateは、特に小さな閾値において、OUE や OUE-Zero よりも高い精度を達成した。これは、事前知識を用いた低頻度アイテムの再補正がより正確であったためである。
• プライバシー予算が高い（例：ε=5）場合、初期ノイズが小さいため、データから事前分布の推定がより正確に行えるようになり、Calibrateの性能向上が顕著に現れた。
• 論文の定理2により、与えられた仮定の下でCalibrateが最適な後処理手法であることが証明された。