[论文解读] Diverse Text Generation via Variational Encoder-Decoder Models with Gaussian Process Priors

Wanyu Du, Jianqiao Zhao+2 more|arXiv (Cornell University)|Apr 4, 2022

Topic Modeling被引用 4

一句话总结

该论文提出了一种带有高斯过程（GP）先验的变分自编码器-解码器模型，通过从确定性编码器隐藏状态建模相关的随机上下文变量，以提升文本生成的多样性和质量。通过使用GP先验在潜在变量之间引入结构化依赖关系，该方法实现了高多样性、上下文感知的生成，且不损失质量，在 paraphrase 生成和风格迁移任务中均优于基线模型。

ABSTRACT

Generating high quality texts with high diversity is important for many NLG applications, but current methods mostly focus on building deterministic models to generate higher quality texts and do not provide many options for promoting diversity. In this work, we present a novel latent structured variable model to generate high quality texts by enriching contextual representation learning of encoder-decoder models. Specifically, we introduce a stochastic function to map deterministic encoder hidden states into random context variables. The proposed stochastic function is sampled from a Gaussian process prior to (1) provide infinite number of joint Gaussian distributions of random context variables (diversity-promoting) and (2) explicitly model dependency between context variables (accurate-encoding). To address the learning challenge of Gaussian processes, we propose an efficient variational inference approach to approximate the posterior distribution of random context variables. We evaluate our method in two typical text generation tasks: paraphrase generation and text style transfer. Experimental results on benchmark datasets demonstrate that our method improves the generation quality and diversity compared with other baselines.

研究动机与目标

• 解决现有基于自编码器的模型在文本生成质量与多样性之间的权衡问题。
• 通过在编码器中建模潜在变量之间的依赖关系，改进上下文表征学习。
• 实现在不依赖解码策略或固定专家集成的情况下，实现高多样性文本生成。
• 开发一种高效的变分推断方法，用于学习可变尺寸潜在表示上的GP先验。
• 在质量与多样性指标上，证明GP先验优于独立先验及其他基线模型的优越性。

提出的方法

• 引入一种随机函数，将确定性编码器隐藏状态映射为随机上下文变量，使用高斯过程先验。
• 通过GP先验对上下文变量的联合分布进行建模，显式编码其之间的依赖关系。
• 采用摊销变分推断方法，近似GP先验下潜在变量的后验分布。
• 在推理过程中使用从变分后验中独立同分布（i.i.d.）采样，以保持计算效率。
• 将该框架应用于LSTM和Transformer-based编码器-解码器架构，以进行消融研究与对比。
• 利用GP先验通过采样不同的上下文变量实现，生成多个多样化且高质量的输出。

实验结果

研究问题

• RQ1 建模潜在上下文变量之间的依赖关系是否能提升文本生成的质量与多样性？
• RQ2 在条件文本生成中，使用GP先验建模潜在变量是否优于独立先验？
• RQ3 所提方法是否能在保持高生成质量的同时缓解后验坍缩问题？
• RQ4 在质量-多样性权衡方面，GP先验与仅依赖解码策略的多样性方法相比如何？
• RQ5 该方法在不同架构和文本生成任务上的泛化能力如何？

主要发现

• 在 GYAFC（E&M）测试集上，GP-VAE 在所有基线模型中实现了最高的生成质量，优于 PG + Normal 先验和 T-CVAE。
• 对于基于 Transformer 的模型，T5 + GP 先验在词级别和句子级别多样性指标上均表现最佳。
• 与标准 VAE 基线相比，该模型显著减少了后验坍缩，尤其在高维设置下表现更优。
• 在风格迁移任务中，模型生成了多样化的输出，同时保持了语义准确性，如定性示例所示。
• 由于从变分后验中进行 i.i.d. 采样，该方法在推理时间复杂度上与标准 VAE 保持一致。
• GP 先验实现了上下文感知的变体，生成的输出在语义连贯性和多样性方面优于独立潜在变量模型。