[论文解读] Distributional Learning of Variational AutoEncoder: Application to Synthetic Data Generation

Seunghwan An, Jong‐June Jeon|arXiv (Cornell University)|Feb 22, 2023

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出分布变分自编码器（DistVAE），一种新型变分自编码器，通过用无限混合的非对称拉普拉斯分布替代标准高斯解码器，增强分布容量的同时保持计算效率。通过将重构损失定义为连续排名概率评分（CRPS），并利用逆变换采样，DistVAE 实现了对复杂数据分布的精确、非参数化建模，同时在隐私保护的合成数据生成方面表现优异，尤其在控制属性泄露风险方面表现突出。

ABSTRACT

The Gaussianity assumption has been consistently criticized as a main limitation of the Variational Autoencoder (VAE) despite its efficiency in computational modeling. In this paper, we propose a new approach that expands the model capacity (i.e., expressive power of distributional family) without sacrificing the computational advantages of the VAE framework. Our VAE model's decoder is composed of an infinite mixture of asymmetric Laplace distribution, which possesses general distribution fitting capabilities for continuous variables. Our model is represented by a special form of a nonparametric M-estimator for estimating general quantile functions, and we theoretically establish the relevance between the proposed model and quantile estimation. We apply the proposed model to synthetic data generation, and particularly, our model demonstrates superiority in easily adjusting the level of data privacy.

研究动机与目标

• 解决标准变分自编码器（VAE）因潜在空间与似然模型中高斯性假设而带来的分布容量受限问题。
• 在扩展 VAE 框架表达能力以超越参数化分布的同时，保持计算效率与可计算性。
• 通过无限分位数估计实现条件累积分布函数（CDF）的非参数化建模。
• 通过直接建模连续表格数据的完整分布，提升合成数据质量与隐私保护能力。
• 通过非参数 M-估计器公式建立分布学习与分位数估计之间的理论联系。

提出的方法

• 解码器建模为无限非对称拉普拉斯分布的混合，实现对复杂数据分布的灵活、非参数化拟合。
• 重构损失重新定义为连续排名概率评分（CRPS），一种合适的评分规则，可在保持计算可计算性的同时实现分布学习。
• 通过基于 CRPS 的优化方法最大化证据下界（ELBO），在保持 VAE 目标的同时支持一般化分布估计。
• 采用逆变换采样实现新样本的高效生成，确保在非高斯假设下仍保持计算简洁。
• 该方法在理论上被证明是非参数 M-估计器，用于分位数函数，将分布学习与鲁棒分位数回归联系起来。
• 使用可微分 CRPS 损失，通过随机梯度下降端到端训练模型，支持在表格数据上的可扩展训练。

实验结果

研究问题

• RQ1 VAE 模型是否能在不牺牲计算效率或训练稳定性的情况下，实现比标准高斯 VAE 更强的分布容量？
• RQ2 与参数化或混合似然模型相比，通过无限分位数估计建模条件 CDF 是否能显著提升合成数据质量？
• RQ3 所提出的分布学习框架在多大程度上能控制合成表格数据中的属性泄露风险？
• RQ4 该模型与非参数统计中分位数估计之间的理论关系是什么？
• RQ5 与传统的 L2 或 L1 重构损失相比，CRPS 损失在捕捉复杂、偏态或重尾数据分布方面表现如何？

主要发现

• 在 covtype 数据集上，DistVAE（β = 5）在 k=100 邻居下实现了最低的属性泄露风险（F1 分数 = 0.115 ± 0.011），优于 CTGAN 和 TVAE。
• 在 adult 数据集上，DistVAE（β=5）将 F1 分数降低至 0.199 ± 0.005（k=100），显著低于 CTGAN（0.237 ± 0.011）和 TVAE（0.381 ± 0.081），表明其隐私保护能力更优。
• DistVAE 在所有测试的表格数据集上均实现了最小化属性泄露风险的最先进性能，且随着 β 值增加，性能持续提升。
• 该模型保持了高重构保真度，生成了逼真的合成数据，这在下游分类任务中的表现（如 adult 数据集上 AUC ≈ 0.500）中得到验证。
• CRPS 损失的使用实现了稳定训练，并有效建模了偏态与重尾分布，优于基于标准 L2 的 VAE 在分布拟合方面的表现。
• 与分位数估计的理论联系得到验证，表明 DistVAE 通过其无限混合结构有效学习了条件分位数。