[論文レビュー] Structure and Sensitivity in Differential Privacy: Comparing K-Norm Mechanisms

Jordan Awan, Aleksandra Slavković|arXiv (Cornell University)|Jan 28, 2018

Privacy-Preserving Technologies in Data参考文献 46被引用数 9

ひとこと要約

本論文は、感度空間の凸包を最適ノルムとして特定することで、微分プライバシーにおけるK-ノルム機構の最適化フレームワークを提案する。有限標本における統計的推論のユーティリティを顕著に向上させる。この手法を用いることで、線形回帰およびロジスティック回帰の応用において、同じ精度を維持しながら必要なプライバシー予算を最大で半減できることが示された。

ABSTRACT

Differential privacy (DP), provides a framework for provable privacy protection against arbitrary adversaries, while allowing the release of summary statistics and synthetic data. We address the problem of releasing a noisy real-valued statistic vector $T$, a function of sensitive data under DP, via the class of $K$-norm mechanisms with the goal of minimizing the noise added to achieve privacy. First, we introduce the sensitivity space of $T$, which extends the concepts of sensitivity polytope and sensitivity hull to the setting of arbitrary statistics $T$. We then propose a framework consisting of three methods for comparing the $K$-norm mechanisms: 1) a multivariate extension of stochastic dominance, 2) the entropy of the mechanism, and 3) the conditional variance given a direction, to identify the optimal $K$-norm mechanism. In all of these criteria, the optimal $K$-norm mechanism is generated by the convex hull of the sensitivity space. Using our methodology, we extend the objective perturbation and functional mechanisms and apply these tools to logistic and linear regression, allowing for private releases of statistical results. Via simulations and an application to a housing price dataset, we demonstrate that our proposed methodology offers a substantial improvement in utility for the same level of risk.

研究の動機と目的

• 有限標本設定における微分プライバシー統計解析におけるプライバシーとユーティリティのトレードオフを解消すること。
• 標準的なL1/L2ノルムを超えたK-ノルム機構を体系的に比較するための手法を開発すること。
• プライバシー保証を維持したままノイズを最小化する最適なK-ノルム機構を特定すること。
• 感度空間解析を用いて、プライベート回帰のための機能的および目的関数の摂動機構を拡張すること。
• 同等の精度を達成するために必要なプライバシー損失予算εを低減することで、微分プライバシーの実用的有用性を向上させること。

提案手法

• 統計量Tの感度空間を導入し、任意の実数値統計量に対して感度ポリトープおよび感度ハルの概念を一般化する。
• 3つの比較基準を提案：多変量確率的優位性、機構エントロピー、各方向ごとの条件付き分散。
• 最適なK-ノルム機構が感度空間の凸包によって生成されることを確立する。
• プライベート線形回帰およびロジスティック回帰の目的関数摂動および機能的機構にこのフレームワークを適用する。
• モンテカルロシミュレーションおよび実際の住宅データを用いて、異なるK-ノルムにおける性能を評価する。
• 統計量を等しくスケーリングすることで、方向ごとの分散の不均衡が性能順位を逆転させるのを緩和できることを示す。

実験結果

リサーチクエスチョン

• RQ1 与えられた統計量Tに対して、微分プライバシーを満たしつつノイズを最小化するK-ノルム機構は何か？
• RQ2 多変量確率的優位性およびエントロピーを用いてK-ノルム機構を比較する方法は何か？
• RQ3 感度空間の凸包は、さまざまな損失関数に対して一貫して最適なK-ノルム機構をもたらすか？
• RQ4 提案されたフレームワークは、回帰タスクにおいて同等の統計的精度を維持しながら、必要なプライバシー損失予算εを低減できるか？
• RQ5 条件付き分散がより高いにもかかわらず、より大きなノルムボールHがより小さなノルムボールKよりも、マージナル分散または損失の観点で優れる状況はどのような条件で生じるか？

主な発見

• 感度空間の凸包は、確率的優位性、エントロピー、条件付き分散という3つの比較基準すべてにおいて、一貫して最適なK-ノルム機構を生成する。
• 線形回帰およびロジスティック回帰において、提案手法は標準的手法と同等の精度を達成するが、プライバシー損失予算εを約半分にまで削減できる。
• 反例として、Kがすべての方向でより低い条件付き分散を示すにもかかわらず、期待されるℓ₁、ℓ₂、ℓ∞損失の観点で、より大きなノルムボールHがより優れた性能を示した。
• この性能の逆転は、変数間での不均等なスケーリングに起因し、ユーティリティ指標における多変量的「シンプソンのパラドックス」を示している。
• 変数が等しくスケーリングされる場合、凸包に基づくK-ノルム機構は、すべてのユーティリティ指標において代替手法を一貫して上回る。
• このフレームワークにより、特に回帰および合成データ生成において、有限標本における微分プライバシー統計的推論の実用的ユーティリティが顕著に向上する。