[論文レビュー] Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates

John C. Duchi, Michael I. Jordan+1 more|arXiv (Cornell University)|Feb 13, 2013

Privacy-Preserving Technologies in Data参考文献 46被引用数 66

ひとこと要約

この論文は、平均推定、回帰、密度推定といった代表的な問題に対して、タイトなミニマックスリスクの下限を導出することにより、局所的微分プライバシーと統計的推定精度の根本的トレードオフを確立する。プライバシーに配慮した情報理論的不等式を導入し、計算的に効率的な最適なメカニズムを構築し、それらが局所的プライバシー制約下で定数倍の要因を除き、これらの境界に達することを示している。

ABSTRACT

Working under a model of privacy in which data remains private even from the statistician, we study the tradeoff between privacy guarantees and the utility of the resulting statistical estimators. We prove bounds on information-theoretic quantities, including mutual information and Kullback-Leibler divergence, that depend on the privacy guarantees. When combined with standard minimax techniques, including the Le Cam, Fano, and Assouad methods, these inequalities allow for a precise characterization of statistical rates under local privacy constraints. We provide a treatment of several canonical families of problems: mean estimation, parameter estimation in fixed-design regression, multinomial probability estimation, and nonparametric density estimation. For all of these families, we provide lower and upper bounds that match up to constant factors, and exhibit new (optimal) privacy-preserving mechanisms and computationally efficient estimators that achieve the bounds.

研究の動機と目的

• データ提供者が統計学者を信頼しない状況における、局所的微分プライバシー下での統計的推定の根本的限界を特定すること。
• プライバシーをメカニズムそのものではなく推定子の制約として扱うことで、微分プライバシーと統計的意思決定理論を統合すること。
• 複数の代表的な統計的問題において、ミニマックスリスクの一致する下限と上限を導出すること。
• 導出されたミニマックスレートに達する最適で計算的に効率的なプライバシー保護メカニズムおよび推定子を設計すること。

提案手法

• プライバシー・パラメータ α に依存する相互情報量とカルバック・ライブラー発散を含む情報理論的不等式を導出する。
• ローカル微分プライバシー制約を、レ・カム、ファン、アッソアドの手法を含む古典的なミニマックス技術に統合する。
• プライバシー化のためのインタラクティブおよび非インタラクティブなチャネル・モデルを分析し、後者は標準的なローカルプライバシーに還元される。
• 導出されたミニマックス下限に定数倍の要因を除き達するプライバシー保護メカニズムおよび推定子を提案する。
• バイアスとノルムの制御されたスチュアティック・サンプリング戦略を用いて、プライバシーと有効性のトレードオフを保証する。
• 漸近的解析とスターリングの近似を用いて、プライバシー化出力の期待ノルムに関する境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 ローカルプライバシー・モデルにおいて、プライバシーの保証（α で測定）と統計的推定精度の根本的トレードオフは何か？
• RQ2 ローカル微分プライバシー制約下で、推定問題のミニマックスリスク境界はどのように変化するか？
• RQ3 導出されたミニマックス下限に達する最適なプライバシー保護メカニズムおよび推定子を構築できるか？
• RQ4 ローカルプライバシーは、特にミニマックスリスクの観点から、非コンパクトパrameter空間にどのような影響を及ぼすか？

主な発見

• 平均推定において、定数倍の要因を除き一致するミニマックスリスク境界が確立され、最適なメカニズムが導出されたレートに達することが示された。
• 固定設計回帰において、ローカルプライバシー下でミニマックスリスクの一致する上限と下限が導出され、プライバシーが推定レートをαに依存する要因で劣化させることを示した。
• 多項分布確率推定において、最小リスクに達する最適なプライバシー保護推定子が構築され、プライバシー・パラメータ α に明示的な依存性が示された。
• 非パラメトリック密度推定において、ミニマックスリスクがプライバシー・パラメータ α に比例してスケーリングされることを示し、一致する上界と下界を提供した。
• 非コンパクトパrameter空間（例：ℝ）において、有限の n に対しても、ローカル微分プライバシー下でのミニマックスリスクが無限大であることを示した。これは、非プライバシー下ではリスクが O(1/n) である場合でも同様に成り立つ。
• 最適なメカニズムの構築は、ノルムが制御された ℓ₂-ボールからの不偏サンプリングに依存しており、プライバシーを保ちながら統計的効率性を維持している。