[论文解读] Kamino: Constraint-Aware Differentially Private Data Synthesis

Chang Ge, Shubhankar Mohapatra+2 more|arXiv (Cornell University)|Dec 31, 2020

Privacy-Preserving Technologies in Data参考文献 74被引用 9

一句话总结

Kamino 是一种差分隐私数据合成系统，通过使用概率数据库框架显式建模拒绝约束（DCs），保留了关系数据结构。它将联合概率分解为条件链，利用带有注意力机制的私有元组嵌入处理混合数据类型，在保持强大隐私保障和极少约束违反的前提下，实现了分类和边际查询任务的最先进性能。

ABSTRACT

Organizations are increasingly relying on data to support decisions. When data contains private and sensitive information, the data owner often desires to publish a synthetic database instance that is similarly useful as the true data, while ensuring the privacy of individual data records. Existing differentially private data synthesis methods aim to generate useful data based on applications, but they fail in keeping one of the most fundamental data properties of the structured data -- the underlying correlations and dependencies among tuples and attributes (i.e., the structure of the data). This structure is often expressed as integrity and schema constraints, or with a probabilistic generative process. As a result, the synthesized data is not useful for any downstream tasks that require this structure to be preserved. This work presents Kamino, a data synthesis system to ensure differential privacy and to preserve the structure and correlations present in the original dataset. Kamino takes as input of a database instance, along with its schema (including integrity constraints), and produces a synthetic database instance with differential privacy and structure preservation guarantees. We empirically show that while preserving the structure of the data, Kamino achieves comparable and even better usefulness in applications of training classification models and answering marginal queries than the state-of-the-art methods of differentially private data synthesis.

研究动机与目标

• 为解决现有差分隐私数据合成方法在关系约束（如拒绝约束DCs）方面缺乏结构保留的问题。
• 开发一个端到端系统，在确保差分隐私的同时，保持真实世界关系型数据库中固有的相关性结构和完整性约束。
• 使下游应用（如分类和边际查询回答）能够在接近真实数据统计和结构特性的合成数据上实现高实用性。
• 设计一种高效、可扩展的学习与采样流水线，以私密方式估计DC权重并生成合成实例，性能开销最小化。

提出的方法

• Kamino 将数据库建模为概率数据库，其中满足DCs的有效实例被赋予更高概率，将DCs作为模型中的参数化因子。
• 基于给定的拒绝约束，将数据库实例的联合概率分解为一系列条件概率链，实现高效学习与采样。
• 通过学习到的嵌入和注意力机制，对元组级分布进行私密估计，以处理混合的分类与数值属性。
• 设计了一种私有权重学习算法，用于估计每条拒绝约束的重要性，将其作为概率模型中的软约束。
• 系统采用先进的隐私组合技术，计算所有学习与采样步骤的紧密端到端差分隐私界。
• 通过从学习到的私有模型中进行后处理采样生成合成数据库，利用后处理性质确保输出满足差分隐私。

实验结果

研究问题

• RQ1 差分隐私数据合成能否保留复杂的关系结构（如拒绝约束），而这类约束对下游应用的实用性至关重要？
• RQ2 如何高效地建模和学习属性与元组级相关性，同时在差分隐私保护下实现合成数据生成？
• RQ3 与最先进方法相比，引入拒绝约束在分类和边际查询工作负载中能多大程度上提升合成数据的实用性？
• RQ4 面向约束感知的私有学习与采样的性能开销有多大？是否能在不牺牲实用性或隐私性的情况下实现最小化？

主要发现

• 在分类任务中，Kamino 的性能与最先进方法相当或更优，合成数据上的准确率和F1分数更高。
• 在边际查询工作负载中，Kamino 生成的合成数据与真实数据之间的变差距离与现有方法相比处于同等水平或更优。
• Kamino 生成的合成数据中，拒绝约束违反的数量在统计上与真实数据无异，证明了其强大的结构保留能力。
• 尽管增加了约束建模的复杂性，Kamino 相较于非结构感知方法，性能开销可忽略不计。
• Kamino 能够成功私密地学习并解释拒绝约束权重，实现在生成模型中对软约束的强制执行。