[论文解读] CuTS: Customizable Tabular Synthetic Data Generation

Mark Vero, Mislav Balunović+1 more|arXiv (Cornell University)|Jul 7, 2023

Data Management and Algorithms被引用 4

一句话总结

CuTS 是一个可定制的表格合成数据生成框架，允许用户通过声明式语言定义多样化的统计、逻辑和公平性约束。通过预训练生成模型并使用用户指定约束的可微分松弛进行微调，该框架实现了高质量的合成数据，在公平性约束下于 Adult 数据集上的下游准确率比最先进方法高出 2.3%。

ABSTRACT

Privacy, data quality, and data sharing concerns pose a key limitation for tabular data applications. While generating synthetic data resembling the original distribution addresses some of these issues, most applications would benefit from additional customization on the generated data. However, existing synthetic data approaches are limited to particular constraints, e.g., differential privacy (DP) or fairness. In this work, we introduce CuTS, the first customizable synthetic tabular data generation framework. Customization in CuTS is achieved via declarative statistical and logical expressions, supporting a wide range of requirements (e.g., DP or fairness, among others). To ensure high synthetic data quality in the presence of custom specifications, CuTS is pre-trained on the original dataset and fine-tuned on a differentiable loss automatically derived from the provided specifications using novel relaxations. We evaluate CuTS over four datasets and on numerous custom specifications, outperforming state-of-the-art specialized approaches on several tasks while being more general. In particular, at the same fairness level, we achieve 2.3% higher downstream accuracy than the state-of-the-art in fair synthetic data generation on the Adult dataset.

研究动机与目标

• 解决现有合成数据方法仅支持狭窄约束（如差分隐私或公平性）的局限性。
• 使数据所有者能够通过广泛的统计、逻辑和公平性规范，自定义合成数据生成。
• 在统一的训练框架中，通过强制执行多样化的用户定义约束，同时保持高数据效用。
• 提供通用、易用的接口，用于指定复杂的数据生成需求。

提出的方法

• CuTS 使用原始表格数据集上的预训练生成模型，以学习底层数据分布。
• 用户指定的约束（统计、逻辑或公平性相关）通过新颖的松弛方法转换为可微分损失函数。
• 模型通过结合预训练目标与松弛约束损失的可微分损失进行端到端微调。
• 对于差分隐私，CuTS 采用改进的隐私预算退火策略，并基于梯度敏感性自适应调整噪声水平。
• 该框架支持软约束，以在下游分类器中鼓励理想行为，如低偏差。
• 领域特定语言允许用户使用统计符号直观地指定约束，相比基于代码的替代方案提升了可用性。

Figure 1 : An overview of CuTS. The data owner writes a program that lists specifications for the synthetic data. For example, they might want to make sure that the model does not generate people younger than 25 with a Doctorate degree. Additionally, they might require that the synthetic data is dif

实验结果

研究问题

• RQ1 单一框架是否能够支持表格合成数据生成中超出差分隐私或公平性的广泛可定制约束？
• RQ2 当强制执行复杂且多样的约束时，CuTS 如何保持高数据质量？
• RQ3 在共享约束（如公平性或隐私）下，CuTS 能在多大程度上超越专用的最先进方法？
• RQ4 CuTS 在掩盖敏感统计模式（如医疗数据中的药物试验重点）的同时，其数据效用保持效果如何？

主要发现

• 在 Adult 数据集上，CuTS 在相同公平性水平下，比最先进公平合成数据生成方法的下游准确率高出 2.3%。
• CuTS 将人口均等性距离降低至 0.01，相比之前工作实现两倍的改进。
• 在 Health Heritage 数据集中掩盖患者状况分布时，CuTS 提升了特征熵，同时下游准确率仅损失约 1%。
• CuTS 成功同时堆叠多种多样化约束（如差分隐私、公平性和逻辑蕴含），且未造成显著效用下降。
• 与 SDV 和 AIM 中基于代码的约束声明相比，该框架通过声明式、基于统计符号的接口展现出更优的可用性。

Figure 2 : CuTS obfuscating the distribution using statistical manipulations, while only losing $\approx 1\%$ accuracy.