[论文解读] Asymptotically optimal private estimation under mean square loss

Min Ye, Alexander Barg|arXiv (Cornell University)|Jul 31, 2017

Privacy-Preserving Technologies in Data参考文献 16被引用 10

一句话总结

该论文在局部微差隐私下建立了离散分布私有化估计方案的渐近最优性。通过利用后验分布的高斯近似和费雪信息矩阵分析，证明了所提方案的最坏情况均方估计损失在样本数增加时收敛至理论最优值，消除了先前有序最优界中存在的常数倍差距。

ABSTRACT

We consider the minimax estimation problem of a discrete distribution with support size $k$ under locally differential privacy constraints. A privatization scheme is applied to each raw sample independently, and we need to estimate the distribution of the raw samples from the privatized samples. A positive number $ε$ measures the privacy level of a privatization scheme. In our previous work (arXiv:1702.00610), we proposed a family of new privatization schemes and the corresponding estimator. We also proved that our scheme and estimator are order optimal in the regime $e^ε \ll k$ under both $\ell_2^2$ and $\ell_1$ loss. In other words, for a large number of samples the worst-case estimation loss of our scheme was shown to differ from the optimal value by at most a constant factor. In this paper, we eliminate this gap by showing asymptotic optimality of the proposed scheme and estimator under the $\ell_2^2$ (mean square) loss. More precisely, we show that for any $k$ and $ε,$ the ratio between the worst-case estimation loss of our scheme and the optimal value approaches $1$ as the number of samples tends to infinity.

研究动机与目标

• 弥合现有有序最优私有估计方案与均方损失下理论极小极大下界之间的差距。
• 在 n → ∞ 时，建立所有 k 和 ε 值下极小极大私有估计损失的渐近紧致性。
• 提供最坏情况估计损失收敛至最优值的严格证明，消除先前结果中的常数因子差距。
• 将先前关于有序最优性的研究扩展至 ℓ₂²（均方）损失下的完全渐近最优性。
• 通过严格的渐大样本分析和后验分布的高斯近似，验证所提出的私有化方案与估计器。

提出的方法

• 提出一族私有化方案及其对应的估计器，此前已证明在 e^ε ≪ k 的情形下为有序最优。
• 应用输出字母表缩减，以简化对私有化输出后验分布的分析。
• 在大样本情形下，利用后验密度 f_{U|Yⁿ} 的高斯近似来建模估计误差分布。
• 依赖局部渐近正态性（LAN）理论，将对数似然比与费雪信息矩阵 I(1/k, ..., 1/k) 联系起来。
• 通过建立 log-likelihood ratio g(u, yⁿ) 对包含费雪信息矩阵的二次型的统一近似，实现对损失的精确表征。
• 通过分析后验方差并利用大偏差理论，对 δ ≥ δ₀ 和 δ < δ₀ 两种情形，推导出极小极大估计损失的渐近紧致下界。

实验结果

研究问题

• RQ1 当样本数趋于无穷时，所提出的私有化方案是否在极小极大均方估计损失下达到渐近最优？
• RQ2 能否证明该方案的最坏情况估计损失对所有 k 和 ε 均收敛至理论下界？
• RQ3 费雪信息矩阵在刻画局部微差隐私下后验分布渐近行为方面起什么作用？
• RQ4 在大样本情形下，如何利用高斯模型近似估计误差的后验分布？
• RQ5 先前有序最优界与真实极小极大损失之间的常数因子差距是否在渐近极限下被消除？

主要发现

• 随着样本数 n 趋于无穷，所提方案的最坏情况估计损失与最优值之比趋近于 1，证明了渐近最优性。
• 所提私有化方案与估计器在所有 k 和 ε 值下均实现极小极大均方损失的渐近紧致性，而不仅限于 e^ε ≪ k 的情形。
• 证明了费雪信息矩阵 I(1/k, ..., 1/k) 等于控制后验高斯近似中二次项的矩阵 Φ(n, Q)。
• 对数似然比 g(u, yⁿ) 渐近地由包含得分函数与费雪信息矩阵的二次型近似，证实了局部渐近正态性。
• 证明在所有分布上建立了估计误差的统一界，误差分布收敛至以真实参数为中心、协方差为费雪信息矩阵逆的高斯分布。
• 本工作推导出的渐近下界是紧致的，意味着其在极限下与实际最坏情况损失一致，解决了先前有序最优界中长期存在的差距问题。