[论文解读] Moment Matching Deep Contrastive Latent Variable Models

Ethan Weinberger, Nicasia Beebe-Wang+1 more|arXiv (Cornell University)|Feb 21, 2022

Machine Learning in Healthcare被引用 6

一句话总结

该论文提出了一种显式通过最大均值差异（MMD）正则化强制执行对比潜在变量建模中两个关键约束的对比变分自编码器（MM-cVAE）——即显著因素与背景因素的解耦。MM-cVAE在三个具有挑战性的对比分析任务上优于先前的最先进模型，实现了更好的解耦效果、更优的下游分类性能，且生成样本质量相当。

ABSTRACT

In the contrastive analysis (CA) setting, machine learning practitioners are specifically interested in discovering patterns that are enriched in a target dataset as compared to a background dataset generated from sources of variation irrelevant to the task at hand. For example, a biomedical data analyst may seek to understand variations in genomic data only present among patients with a given disease as opposed to those also present in healthy control subjects. Such scenarios have motivated the development of contrastive latent variable models to isolate variations unique to these target datasets from those shared across the target and background datasets, with current state of the art models based on the variational autoencoder (VAE) framework. However, previously proposed models do not explicitly enforce the constraints on latent variables underlying CA, potentially leading to the undesirable leakage of information between the two sets of latent variables. Here we propose the moment matching contrastive VAE (MM-cVAE), a reformulation of the VAE for CA that uses the maximum mean discrepancy to explicitly enforce two crucial latent variable constraints underlying CA. On three challenging CA tasks we find that our method outperforms the previous state-of-the-art both qualitatively and on a set of quantitative metrics.

研究动机与目标

• 为解决现有对比VAE在缺乏显式强制执行对比分析（CA）基本假设（特别是显著因素与背景因素解耦）方面的局限性。
• 识别并形式化对比分析中常被先前深度潜在变量模型忽略的两个关键约束：(1) 背景因素应在目标数据集和背景数据集之间共享；(2) 显著因素应仅属于目标数据。
• 开发一种训练目标，以在不依赖复杂对抗训练的前提下强制执行这些约束，从而提升对比表示学习中的鲁棒性与可解释性。
• 评估显式强制执行这些约束是否能带来更好的解耦表示，并提升下游对比任务（如类别分离与异常检测）的性能。

提出的方法

• 提出一种对比VAE框架，其中使用两组独立的潜在变量进行数据生成：背景潜在变量（在目标与背景数据之间共享）和显著潜在变量（仅属于目标数据）。
• 引入两项基于MMD的正则化项：一项用于强制目标与背景数据的背景潜在分布相同，另一项用于确保目标数据的显著潜在分布与背景数据独立。
• 使用最大均值差异（MMD）度量目标与背景数据集中背景潜在变量之间的分布相似性，以及显著潜在变量与背景数据之间的分布相似性。
• 采用带MMD惩罚项的变分推断目标进行端到端训练，避免对抗训练，同时实现强解耦效果。
• 应用重参数化技巧，使MMD项可微分，从而支持通过MMD损失分量的反向传播。
• 将模型应用于三个数据集：CelebA（人脸属性）和两个单细胞RNA-seq数据集（上皮细胞与T细胞），对解耦效果及下游任务进行定性和定量评估。

实验结果

研究问题

• RQ1 现有对比VAE是否隐式满足对比分析的核心假设，特别是显著因素与背景因素的解耦？
• RQ2 显式强制执行两个关键约束（共享背景因素与专属显著因素）是否能提升对比表示学习中的解耦效果与下游性能？
• RQ3 使用基于MMD的正则化强制执行这些约束，是否在表示质量与稳定性方面优于对抗性或其他解耦技术？
• RQ4 与基线模型相比，MM-cVAE在真实世界生物数据集与图像数据集上，对显著潜在空间中的类别分离改善程度如何？
• RQ5 强制执行这些约束是否会损害样本生成质量，或是否能保持高质量的生成能力？

主要发现

• MM-cVAE显著提升了显著因素与背景因素的解耦效果，表现为显著潜在空间中子群的清晰聚类，以及背景空间中极小的分离度。
• 在CelebA数据集中，MM-cVAE在显著因素上的类间分离（眼镜 vs. 帽子）轮廓系数达到0.68，优于基线模型中出现的类别混淆现象。
• 在上皮细胞数据集中，MM-cVAE在显著空间中表现出更优的类别分离效果，且在背景空间中显著减少了类间混淆。
• 定量评估显示，MM-cVAE在所有指标上均持续优于两个基线模型：轮廓系数、分类准确率，以及基于MMD的分布对齐评估。
• 样本质量方面，CelebA上的FID与基因表达数据上的MMD评估结果与基线模型相当，表明更优的解耦效果并未以牺牲生成质量为代价。
• 消融实验验证了MMD正则化的必要性：移除MMD惩罚项后，解耦效果与性能均显著下降，证实了显式约束强制的必要性。