[论文解读] Graphical-model based estimation and inference for differential privacy

Ryan McKenna, Daniel Sheldon+1 more|arXiv (Cornell University)|Jan 26, 2019

Privacy-Preserving Technologies in Data被引用 35

一句话总结

本论文提出一种基于图模型的方法，在差分隐私下从嘈杂的边际测量估计数据分布，从而实现私有查询工作负载的可扩展且准确的推断。

ABSTRACT

Many privacy mechanisms reveal high-level information about a data distribution through noisy measurements. It is common to use this information to estimate the answers to new queries. In this work, we provide an approach to solve this estimation problem efficiently using graphical models, which is particularly effective when the distribution is high-dimensional but the measurements are over low-dimensional marginals. We show that our approach is far more efficient than existing estimation techniques from the privacy literature and that it can improve the accuracy and scalability of many state-of-the-art mechanisms.

研究动机与目标

• 高效地从低维、私有嘈杂边际中估计高维数据分布的动机。
• 开发一个图模型框架，产生与观测边际匹配的最大熵分布。
• 提供近端估计算法，在不显式生成完整列联表的情况下恢复边际和图模型参数。
• 通过学习到的图模型对新工作负载查询进行高效边际推断，实现精准推断。
• 在将该方法整合到最先进的DP机制中时展示改进效果。

提出的方法

• 用图模型来表示数据分布，其团（cliques）对应于测量集合。
• 使用最大熵原理选择一个与估计边际相匹配的唯一分布。
• 在边际多边形上将估计问题表述为凸优化，使用边际作为充分统计量。
• 引入两种近端算法（Algorithm 1 和 Algorithm 2），通过 MARGINAL-ORACLE 子程序迭代更新 clique 边际。
• 在连接树上进行信念传播，作为 MARGINAL-ORACLE 以执行可约的边际推断。
• 将学习到的图模型应用于回答工作负载查询，而不显式生成完整的列联表。

实验结果

研究问题

• RQ1 图模型是否能够在隐私噪声下提供紧凑且精确的高维数据分布表示？
• RQ2 如何在私有嘈杂测量下高效估计边际并恢复最大熵分布？
• RQ3 将基于图模型的估计整合是否能提升现有DP机制对工作负载查询的准确性和可扩展性？
• RQ4 有哪些具有收敛性保证的实际算法，可对边际数据执行此估计？

主要发现

• 将图模型估计引入后，PrivBayes 和 DualQuery 的准确性显著提升，在 Loans 和 Stroke 数据集上工作负载误差分别降低约 6x 和 7x，在 Adult 数据集上约下降 30%。
• 在四个数据集上使用图模型方法，DualQuery 的改进分别为 1.2x、1.8x、3.5x 和 4.4x。
• MWEM 和 HDMM 之前无法扩展到所考虑的大工作负载/数据集，在 PGM 基估计下变得可行。
• 所提出的近端估计算法具有收敛保障（对一般凸损失为 O(1/√t)，对带有 Lipschitz 梯度的损失为 O(1/t^2)），并利用 MARGINAL-ORACLE 以实现可约的边际推断。
• 该框架与现有的私有查询机制兼容，可以作为构建模块来在不增加额外隐私损失的前提下改善隐私-效用权衡。
• 在 Titanic、Adult、Loans 和 Stroke 数据集上进行的实验，隐私预算为 ε=1.0（DualQuery 的 δ=0.001）。