[论文解读] A Deep Generative Framework for Paraphrase Generation

Ankush Gupta, Arvind Agarwal+2 more|arXiv (Cornell University)|Sep 15, 2017

Topic Modeling被引用 134

一句话总结

本论文提出了一个基于 VAE-LSTM 的框架，对原始句子进行条件化的编码器和解码器，为给定输入生成多种改写，在 MSCOCO 和 Quora 数据集上显著优于基线。它还提供了人类评估，表明改写具有良好形式和相关性。

ABSTRACT

Paraphrase generation is an important problem in NLP, especially in question answering, information retrieval, information extraction, conversation systems, to name a few. In this paper, we address the problem of generating paraphrases automatically. Our proposed method is based on a combination of deep generative models (VAE) with sequence-to-sequence models (LSTM) to generate paraphrases, given an input sentence. Traditional VAEs when combined with recurrent neural networks can generate free text but they are not suitable for paraphrase generation for a given sentence. We address this problem by conditioning the both, encoder and decoder sides of VAE, on the original sentence, so that it can generate the given sentence's paraphrases. Unlike most existing models, our model is simple, modular and can generate multiple paraphrases, for a given sentence. Quantitative evaluation of the proposed method on a benchmark paraphrase dataset demonstrates its efficacy, and its performance improvement over the state-of-the-art methods by a significant margin, whereas qualitative human evaluation indicate that the generated paraphrases are well-formed, grammatically correct, and are relevant to the input sentence. Furthermore, we evaluate our method on a newly released question paraphrase dataset, and establish a new baseline for future research.

研究动机与目标

• 为 NLP 应用（如问答、信息检索和信息抽取）中的改写生成提供动机与解决方案。
• 开发一个原理性强的深度生成框架，能够为给定句子生成多种高质量的改写。
• 利用并扩展带条件的 VAE，使编码端和解码端都能体现输入句子。
• 在标准改写数据集上展示相对于最先进方法的改进，并在一个问题改写数据集上建立新的基线。

提出的方法

• 使用一个变分自编码器（VAE），其中编码器和解码器都以原始输入句子为条件。
• 用 LSTM 编码器表示输入和改写句子，通过潜在变量 z 生成改写表示。
• 在解码器中，以原始句子表示初始化并在每个解码阶段注入 z 以重建改写表示。
• 以对输入句子进行条件化的变分下界进行训练： L = E_{q(z|xo, xp)}[log p(xp|z, xo)] - KL(q(z|xo, xp) || p(z))。
• 将有监督变体（VAE-SVG 和 VAE-SVG-eq）与无监督 VAE 基线以及 MSCOCO 和 Quora 数据集上的最先进模型进行比较。

实验结果

研究问题

• RQ1 一个基于 VAE 的体系结构是否可以对输入句子进行条件化以专门为该句子生成改写？
• RQ2 条件化和提出的 VAE-LSTM 设计是否在改写质量方面优于无条件 VAEs 和标准序列到序列模型？
• RQ3 在通用改写数据（MSCOCO）和问题改写数据（Quora）上，所提出的模型在自动评估指标和人工评判方面的表现如何？

主要发现

• VAE-SVG 系列在 MSCOCO 上在 BLEU、METEOR 和 TER 指标下在各种设置下优于基线和最先进方法。
• 在 Quora 数据集上，有监督变体（VAE-SVG 和 VAE-SVG-eq）显著优于无监督基线，在某些配置中通过束搜索进一步提升。
• 人工评估显示改写在相关性和可读性方面基本接近真实答案的质量，但存在一些领域相关的方差（MSCOCO 标注）。
• 该方法在 Quora 的 50K/100K/150K 训练设置上建立了强基线，并在问题改写生成方面对现有方法有显著改进。
• 束搜索和变体编码（尤其是 VAE-SVG-eq）对生成更高质量的改写和基于输入-变体相似性的过滤更有效。