[论文解读] FFPDG: Fast, Fair and Private Data Generation

Weijie Xu, Jinjin Zhao+2 more|arXiv (Cornell University)|Jun 30, 2023

Privacy-Preserving Technologies in Data参考文献 22被引用 5

一句话总结

FFPDG 提出了一种快速、公平且私密的数据生成方法，将公平性正则化与差分隐私整合到单一高效流水线中。通过在噪声注入前应用 FairMaxEnt 进行偏差缓解，FFPDG 实现了高性能模型（AUCROC >0.75）、低隐私风险（LRD ≈ 0.1）以及最小的公平性差异（DSP < 0.11），在速度上优于基于 GAN 的方法（1 秒 vs. 数分钟）。

ABSTRACT

Generative modeling has been used frequently in synthetic data generation. Fairness and privacy are two big concerns for synthetic data. Although Recent GAN [\cite{goodfellow2014generative}] based methods show good results in preserving privacy, the generated data may be more biased. At the same time, these methods require high computation resources. In this work, we design a fast, fair, flexible and private data generation method. We show the effectiveness of our method theoretically and empirically. We show that models trained on data generated by the proposed method can perform well (in inference stage) on real application scenarios.

研究动机与目标

• 解决合成数据生成中的公平性与隐私双重挑战。
• 设计一种方法，在保持真实数据上模型性能的同时，抵抗成员推理攻击。
• 在现有基于 GAN 的私密数据生成技术基础上提升效率。
• 证明在隐私注入前进行预处理公平性可获得更优的公平性与泛化效果。
• 为医疗、金融和机器人等敏感数据集提供可扩展、灵活的合成数据生成能力。

提出的方法

• FFPDG 在统一流水线中整合了公平性正则化（FairMaxEnt）与差分隐私（DP）。
• 通过 FairMaxEnt 对特征空间进行投影与重加权，以在噪声注入前减少偏差。
• 在数据归一化与高斯建模阶段添加噪声，以确保差分隐私。
• 采用随机正交投影降低维度，利用 Diaconis-Freedman-Meckes 效应实现近似高斯性。
• 通过基于投影特征分布的非对抗性闭式生成模型避免 GAN 训练。
• 后处理包括对连续特征进行截断与重新转换为分类特征，以提升隐私与公平性。

实验结果

研究问题

• RQ1 在私密数据生成前进行公平性预处理，是否能比后处理获得更优的公平性与泛化效果？
• RQ2 非 GAN 方法能否在显著缩短训练时间的前提下，实现与 DP-GAN 相当或更优的隐私与公平性指标？
• RQ3 FairMaxEnt 与差分隐私的结合对真实世界数据集上的模型性能有何影响？
• RQ4 高维与分类特征对生成数据的公平性与隐私性有何影响？
• RQ5 该方法能否在不显著降低隐私或公平性指标的前提下，扩展至大规模复杂数据集？

主要发现

• FFPDG 在 Adult 数据集上达到 AUCROC 0.75，在 COMPAS 数据集上达到 0.62，表明其在真实数据上具有强大的预测能力。
• 该方法将公平性差异（DSP）降低至 Adult 数据集的 0.07 和 COMPAS 数据集的 0.11，优于其他方法。
• FFPDG 仅用 1 秒即可生成数据，显著快于 DP-WGAN（36 秒）与 PATE-GAN（29 分钟）。
• 低 LRD（0.1）表明其对成员推理攻击具有强抵抗能力，隐私保护性能优异。
• 在隐私注入前进行公平性预处理，相比后处理可获得更优的公平性结果（COMPAS 上 DSP：0.07 vs. 0.22）。
• 该方法在高维与分类数据上存在局限性，若无改进的后处理，其可预测性与隐私性会下降。