[论文解读] Latent Diffusion Energy-Based Model for Interpretable Text Modeling

Peiyu Yu, Sirui Xie+7 more|arXiv (Cornell University)|Jun 13, 2022

Topic Modeling被引用 11

一句话总结

本文提出了一种新型框架——潜在扩散能量模型（LDEBM），通过将扩散模型与潜在空间能量模型相结合，提升了文本生成中的采样质量与可解释性。通过利用扩散恢复似然学习与几何聚类正则化，LDEBM 实现了稳定、高质量的生成，并获得解耦、有意义的潜在结构，在可解释性文本建模任务上优于强基线模型。

ABSTRACT

Latent space Energy-Based Models (EBMs), also known as energy-based priors, have drawn growing interests in generative modeling. Fueled by its flexibility in the formulation and strong modeling power of the latent space, recent works built upon it have made interesting attempts aiming at the interpretability of text modeling. However, latent space EBMs also inherit some flaws from EBMs in data space; the degenerate MCMC sampling quality in practice can lead to poor generation quality and instability in training, especially on data with complex latent structures. Inspired by the recent efforts that leverage diffusion recovery likelihood learning as a cure for the sampling issue, we introduce a novel symbiosis between the diffusion models and latent space EBMs in a variational learning framework, coined as the latent diffusion energy-based model. We develop a geometric clustering-based regularization jointly with the information bottleneck to further improve the quality of the learned latent space. Experiments on several challenging tasks demonstrate the superior performance of our model on interpretable text modeling over strong counterparts.

研究动机与目标

• 为解决潜在空间能量模型（EBM）因退化 MCMC 采样导致的不稳定与采样质量差的问题。
• 通过学习结构化、解耦的潜在空间，提升文本建模的可解释性，以捕捉主题、对话行为等语义属性。
• 通过在潜在空间中操作，克服现有扩散模型在文本生成中的局限性，避免处理离散文本数据的挑战。
• 构建一个统一的变分学习框架，实现扩散建模与潜在 EBM 的协同训练，支持端到端训练。
• 通过几何聚类正则化与信息瓶颈，提升潜在空间质量，缓解模式崩溃问题。

提出的方法

• 提出一种变分学习框架，在潜在空间中构建前向与反向扩散过程，反向过程通过一系列能量模型 $ p_\alpha(\mathbf{z}_t|\mathbf{z}_{t+1}) $ 建模。
• 引入符号-向量耦合先验，将离散的 one-hot 符号与连续潜在向量耦合，实现符号结构的直接诱导，无需辅助网络。
• 采用扩散恢复似然学习替代边缘似然优化，通过最小化在逐渐加噪的潜在状态上的条件似然，实现更易处理且稳定的训练。
• 应用基于几何聚类的正则化方法，提升学习到的潜在空间的质量与解耦性，与信息瓶颈方法互补。
• 采用联合优化策略，交替更新编码器 $ q_\phi(\mathbf{z}_0|\u003cxu003e) $、解码器 $ p_\beta(\mathbf{x}|\mathbf{z}_0) $ 以及反向扩散 EBM $ p_\alpha(\mathbf{z}_t|\mathbf{z}_{t+1}) $。
• 从学习到的 EBM 序列中进行噪声级别感知采样，以恢复潜在空间中的结构化表示，实现高保真度与可解释性的文本生成。

实验结果

研究问题

• RQ1 基于扩散的似然学习是否能有效稳定潜在空间能量模型在文本生成中的训练与采样？
• RQ2 如何在不依赖辅助推理网络的情况下，有效在连续潜在空间中诱导符号结构？
• RQ3 基于几何聚类的正则化是否能提升变分潜在模型中学习到的潜在空间的解耦性与质量？
• RQ4 所提出的扩散模型与潜在 EBM 的协同机制是否在可解释性文本建模任务上优于强基线模型？
• RQ5 该模型是否能够从零开始训练，学习到结构良好的潜在空间，即使没有预训练的编码器或解码器？

主要发现

• LDEBM 在可解释性文本建模任务上表现优异，包括可控生成与半监督分类，优于 VAE 和标准潜在 EBM 等强基线模型。
• 由于采用扩散恢复似然，模型展现出稳定的训练过程与高质量的生成能力，有效缓解了传统基于 MCMC 的 EBM 训练中固有的采样不稳定性。
• 几何聚类正则化有效减少了模式崩溃，并提升了学习到的潜在因子的解耦性，使潜在表示更具可解释性与语义意义。
• 符号-向量耦合机制可直接在潜在空间中诱导符号属性（如对话行为），无需额外的符号检测网络。
• 即使不使用预训练语言模型，该模型在下游任务（如文本分类与生成）中仍展现出强大的零样本与 few-shot 泛化能力。
• 实证结果表明，该方法在文本生成与半监督学习的基准数据集上达到了最先进或具有竞争力的性能，生成结果在流畅性、多样性与解耦性方面均有提升。