[论文解读] Generation and Simulation of Synthetic Datasets with Copulas

Régis Houssou, Mihai-Cezar Augustin+3 more|arXiv (Cornell University)|Mar 30, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种基于藤氏（copula）的方法，用于生成合成数据集，以保留多元数据中混合数值型与分类变量的边缘分布和复杂依赖结构。通过将分类特征转换为秩次，应用藤氏模型捕捉依赖关系，并反向转换，该方法在保持联合分布和相关性结构方面优于SMOTE和自编码器，已在真实世界数据集上得到验证。

ABSTRACT

This paper proposes a new method to generate synthetic data sets based on copula models. Our goal is to produce surrogate data resembling real data in terms of marginal and joint distributions. We present a complete and reliable algorithm for generating a synthetic data set comprising numeric or categorical variables. Applying our methodology to two datasets shows better performance compared to other methods such as SMOTE and autoencoders.

研究动机与目标

• 通过生成高保真度的合成数据集来应对数据稀缺与隐私约束，使其能够模拟真实数据分布。
• 开发一种稳健的端到端算法，用于生成包含数值型与分类变量的合成数据。
• 比现有方法（如SMOTE与自编码器）更准确地保留复杂依赖结构，特别是分类特征之间的依赖关系。
• 实现政府、学术界与产业界之间安全、私密且高效的资源共享。
• 为低数据量场景下的合成数据生成提供一种统计上合理的替代方案，以替代基于深度学习的生成模型。

提出的方法

• 利用藤氏模型通过分离边缘分布与联合依赖结构来建模变量之间的依赖关系。
• 应用概率积分变换，将原始数据转换为[0,1]区间上的均匀变量子，以支持藤氏建模。
• 将分类变量转换为秩次，以支持基于藤氏模型的建模，随后通过逆变换恢复分类标签。
• 使用拟合藤氏模型的逆概率积分变换模拟合成数据。
• 采用Kendall等级相关系数与卡方检验评估合成数据中依赖关系与关联性的保持程度。
• 通过列联表分析与相关性分析，将藤氏方法与SMOTE及自编码器方法进行比较。

实验结果

研究问题

• RQ1 基于藤氏模型的合成数据生成方法能否有效保留混合数值型与分类变量的真实数据集的联合分布与依赖结构？
• RQ2 在合成数据集中，藤氏方法与SMOTE及自编码器相比，在保留分类特征之间关联性方面表现如何？
• RQ3 在对分类变量进行转换后，藤氏方法在保留连续变量间相关性结构方面能达到何种程度？
• RQ4 该方法在处理具有稀疏关联关系的高维分类数据方面是否有效？
• RQ5 该藤氏框架能否可靠地应用于样本量有限且具有复杂依赖模式的真实世界数据集？

主要发现

• 藤氏方法在保留分类特征之间的列联表结构方面优于SMOTE与自编码器，尤其在高度关联的类别水平上表现更优。
• SMOTE生成的分布存在噪声，且分类变量之间的关联性减弱，卡方独立性检验显示p值显著。
• 自编码器生成的分布高度偏斜，过度集中于单一货币水平，扭曲了原始关联模式，且卡方检验未拒绝独立性假设。
• 合成数据中连续变量间的Kendall等级相关系数显示，藤氏方法与原始数据高度一致，而自编码器引入了虚假的负相关性。
• 视觉与统计分析均证实，藤氏方法比SMOTE与自编码器更忠实地保持了边缘分布与依赖结构。
• 该方法在小样本数据集（如约1,000条记录）上依然有效，但其在大规模、高维分类数据集上的可扩展性仍是未来研究的开放挑战。