[论文解读] Private Synthetic Data for Multitask Learning and Marginal Queries

Giuseppe Vietri, Cédric Archambeau+7 more|arXiv (Cornell University)|Sep 15, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

该论文提出 RAP++，一种原生处理混合类别型与数值型特征（无需分箱）的差分隐私合成数据生成算法，通过温度化 Sigmoid 模拟退火与随机线性投影，实现对边缘查询和线性分类器训练的精确矩匹配。与先前方法相比，RAP++ 在边缘查询保持与线性模型性能方面实现了 2–5 倍的运行速度提升，并展现出更优的准确性，尤其在数值特征具有预测能力时表现更佳。

ABSTRACT

We provide a differentially private algorithm for producing synthetic data simultaneously useful for multiple tasks: marginal queries and multitask machine learning (ML). A key innovation in our algorithm is the ability to directly handle numerical features, in contrast to a number of related prior approaches which require numerical features to be first converted into {high cardinality} categorical features via {a binning strategy}. Higher binning granularity is required for better accuracy, but this negatively impacts scalability. Eliminating the need for binning allows us to produce synthetic data preserving large numbers of statistical queries such as marginals on numerical features, and class conditional linear threshold queries. Preserving the latter means that the fraction of points of each class label above a particular half-space is roughly the same in both the real and synthetic data. This is the property that is needed to train a linear classifier in a multitask setting. Our algorithm also allows us to produce high quality synthetic data for mixed marginal queries, that combine both categorical and numerical features. Our method consistently runs 2-5x faster than the best comparable techniques, and provides significant accuracy improvements in both marginal queries and linear prediction tasks for mixed-type datasets.

研究动机与目标

• 解决先前私有合成数据方法的局限性：需将数值特征离散化为高基数类别分箱，这会损害可扩展性与准确性。
• 实现对混合类型查询（特别是混合边缘分布与类别条件线性阈值函数）的直接、可微优化，无需分箱。
• 开发一种可扩展的、可微优化框架，在保持隐私的同时保留对下游机器学习至关重要的统计关系。
• 提升真实世界数据集中具有大量数值特征的私有合成数据生成的效率与准确性。
• 证明原生处理数值特征可显著提升在查询准确率与模型训练保真度方面的性能。

提出的方法

• 提出 RAP++，作为 RAP 框架的扩展，通过可微优化实现对混合类别型与数值型特征的直接处理，以实现矩匹配。
• 定义两类关键查询：混合边缘分布（混合特征类型的联合分布）与类别条件线性阈值函数（保留线性分类器性能）。
• 对线性阈值查询中的非可微阈值函数使用平滑、可微的替代函数进行近似：$ \frac{1}{1 + \exp(-\sigma(x - b))} $。
• 实施温度化 Sigmoid 模拟退火：根据梯度范数动态增加逆温度 $ \sigma $，以平衡近似保真度与优化稳定性。
• 使用随机线性投影查询，高效表示并优化高维混合类型特征空间。
• 利用随机梯度下降（SGD）或 Adam 算法，在差分隐私约束下对合成数据生成进行端到端优化。

实验结果

研究问题

• RQ1 是否存在一种差分隐私合成数据生成方法，能够在不将数值变量分箱的情况下，保持混合类型边缘查询（包含类别型与数值型特征）？
• RQ2 如何有效近似类别条件线性阈值查询中非可微的阈值函数，以实现私有合成数据生成中的可微优化？
• RQ3 通过温度化 Sigmoid 模拟退火动态调整 Sigmoid 近似陡度，是否能提升在无固定最优 $ \sigma $ 情况下的优化稳定性与准确性？
• RQ4 与基于分箱的方法相比，原生处理数值特征在查询发布与下游机器学习任务中的运行时间与准确性方面，能带来多大程度的提升？
• RQ5 RAP++ 生成的私有合成数据是否能支持训练出比现有私有基线更准确的线性分类器，尤其在数值特征具有预测能力时？

主要发现

• 在 US 人口普查数据集上，RAP++ 在保持混合边缘查询与类别条件线性阈值查询方面，持续优于 PGM、DP-CTGAN 与 DP-MERF，尤其在低隐私预算（$ \epsilon \leq 1 $）时表现更优。
• 与最佳可比方法（PGM）相比，RAP++ 实现了 2–5 倍的运行速度提升，且在所有评估数据集与隐私水平下均观察到显著加速。
• 在单任务学习中，RAP++ 在所有三个 ACS 单任务数据集（如收入、就业、保险覆盖）上，于 $ \epsilon = 0.15 $ 与 $ \epsilon = 1 $ 时均获得比所有基线更高的 F1 分数，且性能接近非私有黄金标准。
• 在多任务学习中，RAP++ 在收入预测任务（数值特征具有预测性）上显著优于 PGM，尤其在小 $ \epsilon $ 时 F1 分数更高。
• 在数值特征预测性较弱的任务（如就业）中，PGM 略胜 RAP++，但 RAP++ 仍保持竞争力且具备更优的运行效率。
• 尽管在线性模型上表现强劲，但使用 RAP++ 生成的合成数据训练的更复杂模型并未超越线性模型性能，表明当前方法在支持从私有合成数据中进行非线性学习方面仍存在差距。