[论文解读] An Improved Private Mechanism for Small Databases

Aleksandar Nikolov|arXiv (Cornell University)|May 1, 2015

Privacy-Preserving Technologies in Data参考文献 24被引用 5

一句话总结

本文提出了一种用于小规模数据库上线性查询的新颖差分隐私机制，相较于先前工作，其竞争力比率仅依赖于 log n 和 log |U|，而不依赖于 |Q|。该机制通过凸对偶与受限可逆性优化噪声分布，减少了投影机制中的误差，显著提升了在查询集规模远大于数据库大小的工作负载下的实用性。

ABSTRACT

We study the problem of answering a workload of linear queries $\mathcal{Q}$, on a database of size at most $n = o(|\mathcal{Q}|)$ drawn from a universe $\mathcal{U}$ under the constraint of (approximate) differential privacy. Nikolov, Talwar, and Zhang~\cite{NTZ} proposed an efficient mechanism that, for any given $\mathcal{Q}$ and $n$, answers the queries with average error that is at most a factor polynomial in $\log |\mathcal{Q}|$ and $\log |\mathcal{U}|$ worse than the best possible. Here we improve on this guarantee and give a mechanism whose competitiveness ratio is at most polynomial in $\log n$ and $\log |\mathcal{U}|$, and has no dependence on $|\mathcal{Q}|$. Our mechanism is based on the projection mechanism of Nikolov, Talwar, and Zhang, but in place of an ad-hoc noise distribution, we use a distribution which is in a sense optimal for the projection mechanism, and analyze it using convex duality and the restricted invertibility principle.

研究动机与目标

• 解决在小规模数据库上回答大量线性查询的挑战，同时保持差分隐私并最小化平均误差。
• 改进先前机制的竞争力比率，消除其对 |Q| 的依赖。
• 在凸对偶框架下设计投影机制的最优噪声分布。
• 实现误差界在 log n 和 log |U| 上多项式增长，而非在 |Q| 上增长，适用于任意给定的工作负载与数据库大小。

提出的方法

• 该机制基于 Nikolov 等人（2013）提出的投影机制，但将原有的启发式噪声分布替换为基于凸对偶与受限可逆性原理推导出的噪声分布。
• 将最优协方差矩阵 Σ 表述为一个受 ε-差分隐私与迹归一化约束的凸优化问题的解。
• 误差分析利用矩阵 AQA^T 的迹范数以及奇异值的第 k 个调和平均值，通过引理 4.3.1 借助受限可逆性原理。
• 基于查询矩阵的谱分解进行双 case 分析，利用投影算子分离主导特征值并施加下界。
• 使用椭球算法求解 Σ 的凸优化问题，确保多项式时间计算。
• 最终误差界通过结合引理 3.0.2 的隐私保证与定理 4.2 和定理 4.3 的谱下界推导得出。

实验结果

研究问题

• RQ1 能否将小规模数据库上私有机制的竞争力比率改进至消除对 |Q| 的依赖？
• RQ2 是否存在一种投影机制的最优噪声分布，可在差分隐私下最小化期望误差？
• RQ3 能否利用凸对偶与受限可逆性推导出线性查询工作负载的更紧误差界？
• RQ4 对于任意给定的工作负载与数据库大小，该机制的误差是否仅依赖于 log n 和 log |U|，而非 |Q|？

主要发现

• 所提机制的平均误差至多比最优可实现误差差一个关于 log n 和 log |U| 的多对数因子，且不依赖于 |Q|。
• 竞争力比率被有界于 log n 和 log |U| 的多项式内，显著优于先前对 |Q| 的多对数依赖。
• 该机制使用凸优化框架计算最优协方差矩阵 Σ，确保满足 (ε,δ)-差分隐私。
• 误差界通过基于查询矩阵特征结构的双 case 谱分析推导得出，利用受限可逆性对宇宙子集上的最小奇异值施加下界。
• 该机制的运行时间在 |U|、|Q| 和 n 上为多项式时间，适用于实际部署。
• 该结果为差分隐私查询回答的实用性设立了新基准，尤其适用于 |Q| ≫ n 的工作负载。