[論文レビュー] Local Privacy and Minimax Bounds: Sharp Rates for Probability Estimation

John C. Duchi, Michael I. Jordan+1 more|arXiv (Cornell University)|May 26, 2013

Privacy-Preserving Technologies in Data参考文献 19被引用数 98

ひとこと要約

この論文は、局所的微分プライバシー下での確率推定における鋭いミニマックス収束速度を確立し、プライバシー制約が多項分布推定では有効サンプルサイズを $ n $ から $ n\alpha^2/d $ に低下させ、密度推定ではペナルティを引き起こすことを示している。また、プライバシー下でのアンケート調査においてウォーナーのランダム化応答が最適であることを証明し、古典的プライバシー理論と現代のミニマックス意思決定理論を統合している。

ABSTRACT

We provide a detailed study of the estimation of probability distributions---discrete and continuous---in a stringent setting in which data is kept private even from the statistician. We give sharp minimax rates of convergence for estimation in these locally private settings, exhibiting fundamental tradeoffs between privacy and convergence rate, as well as providing tools to allow movement along the privacy-statistical efficiency continuum. One of the consequences of our results is that Warner's classical work on randomized response is an optimal way to perform survey sampling while maintaining privacy of the respondents.

研究の動機と目的

• 局所的微分プライバシー下での確率推定におけるプライバシーと統計的効率のトレードオフを形式化すること。
• 局所的プライバシー制約下での推定リスクの鋭いミニマックス下界を提供し、収束速度へのペナルティを定量化すること。
• ウォーナーのランダム化応答が局所的プライバシー下でのアンケート調査においてミニマックス的に最適であることを示すこと。
• 非パラメトリック密度推定に分析を拡張し、局所的プライバシー下での対応するミニマックスレートを確立すること。
• 古典的プライバシー（例：ウォーナー）を現代の微分プライバシーおよびミニマックス意思決定理論と統合し、統計的推論に応用すること。

提案手法

• 各個人のデータが $ \sup \frac{Q(S|x)}{Q(S|x')} \leq e^{\alpha} $ を満たすチャネルを介してプライバシー化される、局所的微分プライバシーの形式的枠組みを用いる。
• ミニマックス意思決定理論を用いて、分布のパックイングを用いた推定リスクの下界を導出する。
• 最適スコア関数 $ \gamma $ が区間 $ D_i $ 上で定数でなければならないことを示し、問題を有限次元最適化に還元することで、情報量の有限次元近似を構築する。
• クリロネッカー積構造を用いて、ベクトル化されたパラメータの観点からフィッシャー情報量を分析し、作用素単調性およびスペクトルバインディングを活用する。
• 密度の族 $ f_\nu $ および $ g_\beta $ を巧みに構築し、統計的パックイングを形成することで、相互情報量 $ I(Z_1,\ldots,Z_n;V) $ のタイトな下界を可能にする。
• 相互情報量 $ I(Z_1,\ldots,Z_n;V) \leq n \cdot c \cdot \alpha^2 / k^{2\beta+1} $ の上界を導出し、密度推定における鋭いミニマックスレートを導く。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシー下での多項分布確率推定において、プライバシー水準 $ \alpha $ と推定精度の根本的トレードオフは何か？
• RQ2 ウォーナーのランダム化応答は、プライバシー保護型アンケート調査においてミニマックス的に最適か？
• RQ3 局所的プライバシーは非パラメトリック密度推定におけるミニマックス収束速度をどのように制約するか？
• RQ4 相互情報量やフィッシャー情報量といった情報理論的ツールを用いて、局所的プライバシー下でのミニマックスリスクを特徴づけられるか？
• RQ5 高次元推定問題において、局所的プライバシーは有効サンプルサイズをどの程度削減するか？

主な発見

• $ d $ 次元の多項分布推定において、$ \alpha $-局所的プライバシー下での有効サンプルサイズは $ n\alpha^2/d $ であり、$ \alpha $ における2次ペナルティが顕在化する。
• ウォーナーのランダム化応答は、局所的プライバシー下でのアンケート調査においてミニマックス的に最適であり、50年以上前に提案されたが依然として最適性が裏付けられている。
• H\"{o}"{o}lder連続性を満たす密度推定において、局所的プライバシー下でのミニマックスレートは、$ \alpha $ とスムーズネスパラメータに依存する形で明示的に特定可能である。