[论文解读] Constrained Differential Privacy for Count Data

Graham Cormode, Tejas Kulkarni+1 more|arXiv (Cornell University)|Oct 2, 2017

Privacy-Preserving Technologies in Data参考文献 14被引用 3

一句话总结

本文提出了一种针对计数查询的约束微分隐私机制，通过强制实施公平性与单调性等结构性属性，消除了通过线性规划推导出的最优机制中常见的病态行为（如间隙——从不报告某些输出，以及尖峰——过度报告特定值）。作者证明，仅存在少数几种最优机制，包括一种新型机制和广为人知的几何机制。实验表明，约束机制在高隐私预算和非极端输入分布下，性能优于无约束机制。

ABSTRACT

Concern about how to aggregate sensitive user data without compromising individual privacy is a major barrier to greater availability of data. The model of differential privacy has emerged as an accepted model to release sensitive information while giving a statistical guarantee for privacy. Many different algorithms are possible to address different target functions. We focus on the core problem of count queries, and seek to design mechanisms to release data associated with a group of n individuals. Prior work has focused on designing mechanisms by raw optimization of a loss function, without regard to the consequences on the results. This can leads to mechanisms with undesirable properties, such as never reporting some outputs (gaps), and overreporting others (spikes). We tame these pathological behaviors by introducing a set of desirable properties that mechanisms can obey. Any combination of these can be satisfied by solving a linear program (LP) which minimizes a cost function, with constraints enforcing the properties. We focus on a particular cost function, and provide explicit constructions that are optimal for certain combinations of properties, and show a closed form for their cost. In the end, there are only a handful of distinct optimal mechanisms to choose between: one is the well-known (truncated) geometric mechanism; the second a novel mechanism that we introduce here, and the remainder are found as the solution to particular LPs. These all avoid the bad behaviors we identify. We demonstrate in a set of experiments on real and synthetic data which is preferable in practice, for different combinations of data distributions, constraints, and privacy parameters.

研究动机与目标

• 为解决现有计数查询微分隐私机制中存在的病态行为（如间隙与尖峰），这些行为源于损失函数的无约束优化。
• 识别并形式化理想的结构性属性（如公平性、弱诚实性、单调性），以确保机制行为良好并避免极端输出偏差。
• 证明通过线性规划可强制实施这些属性组合，从而在L0损失函数下获得一组有限的最优机制。
• 在不同输入分布、群体规模和隐私参数下，评估约束机制与标准机制（如几何机制、均匀机制）的实际性能。
• 表明约束机制，尤其是新型机制和约束指数机制，在真实场景中持续优于几何机制，尤其在高隐私预算下表现更优。

提出的方法

• 作者定义了七种结构性属性（如公平性、弱诚实性、单调性）以约束机制设计，防止出现病态输出分布。
• 将微分隐私的线性规划框架扩展，引入这些属性作为约束，以最小化L0误差（输出偏离真实输入超过d的概率）。
• 通过求解包含所需属性约束的线性规划，推导出最优机制，得到一组数量有限的显著不同的最优机制。
• 论文提出一种新型机制，在公平性与单调性约束下达到最优，与几何机制不同。
• 实验使用真实与合成数据，在不同输入分布（由p参数化）、群体规模（n）和隐私参数（α）下评估机制性能，测量L0,d、L0,1和RMSE误差。
• 评估将约束机制（EM、WM）与几何机制（GM）和均匀机制（UM）进行比较，结果取30次重复的平均值以确保方差较低。

实验结果

研究问题

• RQ1 能否形式化定义结构性约束，以消除计数查询微分隐私机制中的病态行为（如间隙与尖峰）？
• RQ2 在L0损失函数下，哪些结构性属性组合可产生最优机制？存在多少种不同的最优机制？
• RQ3 在不同输入分布和隐私预算下，约束机制与广泛使用的几何机制在实用性方面有何比较？
• RQ4 强制实施公平性或单调性是否能提升对输入分布偏斜的鲁棒性，特别是在高隐私参数下？
• RQ5 在何种条件下，几何机制无法优于更简单的机制（如均匀机制或约束机制），尤其是在RMSE和尾部误差方面？

主要发现

• 在高隐私预算（α > 0.7）下，几何机制常无法报告接近真实输入的值，某些情况下甚至表现劣于随机猜测。
• 在输入分布均匀分布于输入空间时（p接近0.5），强制实施公平性与单调性的约束机制（如EM与WM）始终优于几何机制。
• 在高隐私参数（α = 0.91）下，新型约束指数机制（EM）在所有群体规模和输入分布下均实现低于几何机制的RMSE。
• 当输入分布呈偏斜时（p接近0或1），几何机制表现更优，但约束指数机制仍保持强劲性能，优于均匀机制，且常优于几何机制。
• 强制实施公平性的约束机制（WM）降低了对输入分布偏斜的敏感性，使其在非极端情况下比几何机制更具鲁棒性。
• L0,d误差分析表明，约束指数机制（EM）显著降低了尾部概率质量，尤其在d较大时，且该优势随d增加仍保持。