[論文レビュー] Optimal Schemes for Discrete Distribution Estimation under Locally Differential Privacy

Min Ye, Alexander Barg|arXiv (Cornell University)|Feb 2, 2017

Privacy-Preserving Technologies in Data参考文献 15被引用数 15

ひとこと要約

本稿では、局所的微分プライバシー下での離散分布推定のための新しいプライバシズムスキームの族を提案し、中程度のプライバシー領域（$1 \ll e^\epsilon \ll k$）において顕著な性能向上を達成する。既存手法と比較して、$\ell_2^2$ 評価基準では推定損失を50%、$\ell_1$ 評価基準では30%削減する。また、タイトな下界を用いてスケーリングの最適性（order optimality）を証明する。

ABSTRACT

We consider the minimax estimation problem of a discrete distribution with support size $k$ under privacy constraints. A privatization scheme is applied to each raw sample independently, and we need to estimate the distribution of the raw samples from the privatized samples. A positive number $ε$ measures the privacy level of a privatization scheme. For a given $ε,$ we consider the problem of constructing optimal privatization schemes with $ε$-privacy level, i.e., schemes that minimize the expected estimation loss for the worst-case distribution. Two schemes in the literature provide order optimal performance in the high privacy regime where $ε$ is very close to $0,$ and in the low privacy regime where $e^ε\approx k,$ respectively. In this paper, we propose a new family of schemes which substantially improve the performance of the existing schemes in the medium privacy regime when $1\ll e^ε \ll k.$ More concretely, we prove that when $3.8 < ε

研究の動機と目的

• 中程度のプライバシー領域（$1 \ll e^\epsilon \ll k$）において、既存のスキームが性能を発揮できないというギャップを埋める。
• 中程度のプライバシー領域（$e^\epsilon \ll k$）において、$\epsilon$-局所的微分プライバシー制約下で期待推定損失を最小化する新しいプライバシズムスキーム族を設計する。
• タイトな下界を用いて、提案スキームが中程度から高レベルのプライバシー領域（$e^\epsilon \ll k$）でスケーリングの最適性（order optimality）を達成していることを証明する。
• 最適なスキームが、出力確率比が $1$ または $e^\epsilon$ に限定される極値的構成（extremal configurations）に制限可能であることを示す。
• $k$-RAPPOR や $k$-RR よりも中程度のプライバシー領域で優れた性能を示すことを示し、特に $\ell_2^2$ および $\ell_1$ 推定損失の観点で顕著な改善を達成する。

提案手法

• 著者らは、異なる入力に対する出力確率比が $1$ または $e^\epsilon$ に限定される極値的構成に基づく、新しいプライバシズムスキーム族を導入し、$\epsilon$-局所的微分プライバシーを満たす。
• 有限の出力アルファベットと構造的パーティションを用いて、プライバシー制約下での推定精度を最適化するスキームを構築する。
• 領域 $e^\epsilon \ll k$ におけるミニマックス推定損失のタイトな下界を導出し、提案スキームがこの領域でスケーリングの最適性を達成していることを証明する。
• プライバシズム化されたサンプルに対する経験的推定器を導出することで、プライバシズム化されたデータから分布を高精度に再構築可能にする。
• 確率的バウンドと可測集合の代数的構成を用いて、集中度と推定誤差バウンドを確立する。
• $k$-RAPPOR や $k$-RR との比較を通じて、複数の評価指標において推定損失の顕著な改善を実証し、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 中程度のプライバシー領域（$1 \ll e^\epsilon \ll k$）において、既存手法を上回る新しいプライバシズムスキームを設計可能か？
• RQ2 中程度から高レベルのプライバシー領域（$e^\epsilon \ll k$）における推定損失の根本的限界（下界）は何か？
• RQ3 提案スキームはスケーリングの最適性（order-optimal）であるか、すなわち $k$ および $\epsilon$ に対して最良のスケーリングを達成するか？
• RQ4 最適なプライバシズムスキームは、出力確率比が $1$ または $e^\epsilon$ に限定される極値的構成に制限可能か？
• RQ5 $\ell_2^2$ および $\ell_1$ 推定損失の観点で、新規スキームは $k$-RAPPOR や $k$-RR よりもどの程度改善を達成するか？

主な発見

• 提案スキームは、$3.8 < \epsilon < \ln(k/9)$ の条件下で、中程度のプライバシー領域において期待 $\ell_2^2$ 推定損失を既存手法と比較して50%削減する。
• 同じ条件下で、期待 $\ell_1$ 推定損失も30%削減し、$k$-RAPPOR や $k$-RR より顕著に優れた性能を示す。
• 中程度のプライバシー領域において、$\ell_2^2$ 評価基準で $k$-RR よりも $\Theta(k / e^\epsilon)$ の改善要因を達成する。
• $e^\epsilon \ll k$ の領域に対してタイトな下界を証明し、提案スキームがこの領域でスケーリングの最適性を達成していることを示した。
• 最適なプライバシズムスキームは、異なる入力に対する出力確率比が $1$ または $e^\epsilon$ に限定される極値的構成に制限可能であり、探索空間の単純化が可能である。
• 結果として、提案スキームは経験的に優れた性能を示すだけでなく、ミニマックス推定リスクの観点から理論的にも最適であることが示された。