[论文解读] Local Privacy, Data Processing Inequalities, and Statistical Minimax Rates

John C. Duchi, Michael I. Jordan+1 more|arXiv (Cornell University)|Feb 13, 2013

Privacy-Preserving Technologies in Data参考文献 46被引用 66

一句话总结

本文通过推导均值估计、回归和密度估计等典型问题的紧致极小极大风险界，建立了局部微差隐私与统计估计精度之间的基本权衡。文章引入了具有隐私意识的信息论不等式，并构建了在局部隐私约束下达到这些界（至多常数因子）的最优、计算高效的机制。

ABSTRACT

Working under a model of privacy in which data remains private even from the statistician, we study the tradeoff between privacy guarantees and the utility of the resulting statistical estimators. We prove bounds on information-theoretic quantities, including mutual information and Kullback-Leibler divergence, that depend on the privacy guarantees. When combined with standard minimax techniques, including the Le Cam, Fano, and Assouad methods, these inequalities allow for a precise characterization of statistical rates under local privacy constraints. We provide a treatment of several canonical families of problems: mean estimation, parameter estimation in fixed-design regression, multinomial probability estimation, and nonparametric density estimation. For all of these families, we provide lower and upper bounds that match up to constant factors, and exhibit new (optimal) privacy-preserving mechanisms and computationally efficient estimators that achieve the bounds.

研究动机与目标

• 刻画在数据提供者不信任统计学家的局部微分隐私下，统计估计的根本极限。
• 通过将隐私视为对估计器的约束而非仅机制，弥合微分隐私与统计决策理论之间的鸿沟。
• 在多个典型统计问题中，推导极小极大风险的匹配下界与上界。
• 设计最优、计算高效的隐私保护机制与估计器，以实现所推导的极小极大速率。

提出的方法

• 推导涉及互信息与Kullback-Leibler散度的信息论不等式，其依赖于隐私参数α。
• 将局部微分隐私约束整合进经典极小极大技术，包括Le Cam法、Fano法与Assouad法。
• 分析了用于数据混淆的交互式与非交互式信道模型，其中后者退化为标准局部隐私模型。
• 提出新的隐私保护机制与估计器，其性能在常数因子内达到所推导的极小极大下界。
• 采用具有受控偏差与范数边界的随机采样策略，以确保隐私与效用之间的权衡。
• 应用渐近分析与Stirling近似，推导出隐私输出期望范数的界。

实验结果

研究问题

• RQ1 在局部隐私模型中，隐私保证（以α度量）与统计估计精度之间的根本权衡是什么？
• RQ2 在局部微分隐私约束下，估计问题的极小极大风险界如何变化？
• RQ3 能否构建出达到所推导极小极大下界的最优隐私保护机制与估计器？
• RQ4 局部隐私对非紧致参数空间（尤其是极小极大风险方面）有何影响？

主要发现

• 在均值估计中，本文建立了在常数因子内匹配的极小极大风险界，最优机制实现了所推导的速率。
• 在固定设计回归中，本文推导了在局部隐私下极小极大风险的匹配上下界，表明隐私使估计速率降低一个依赖于α的因子。
• 在多项式概率估计中，本文构建了达到极小极大速率的最优隐私保护估计器，其显式依赖于隐私参数α。
• 在非参数密度估计中，本文表明极小极大风险随隐私参数α变化，并提供了匹配的上下界。
• 本文证明，在如ℝ这样的非紧致参数空间中，即使非私有风险为O(1/n)，在所有有限n下，局部微分隐私下的极小极大风险仍为无穷大。
• 最优机制的构建依赖于在ℓ₂球上进行无偏采样并控制范数，从而在保持统计效率的同时确保隐私。