[论文解读] Joint Copying and Restricted Generation for Paraphrase

Ziqiang Cao, Chuwei Luo+2 more|arXiv (Cornell University)|Nov 28, 2016

Text Readability and Simplification被引用 61

一句话总结

本文提出 CoRe，一种新型的序列到序列模型，通过联合建模复制与受限生成来处理释义任务。通过将复制解码器与仅使用源文本特定词汇表的生成解码器融合，并利用监督预测器在两种模式间进行选择，CoRe 在抽象摘要和文本简化数据集上均优于最先进模型，同时提升了信息量与流畅度。

ABSTRACT

Many natural language generation tasks, such as abstractive summarization and text simplification, are paraphrase-orientated. In these tasks, copying and rewriting are two main writing modes. Most previous sequence-to-sequence (Seq2Seq) models use a single decoder and neglect this fact. In this paper, we develop a novel Seq2Seq model to fuse a copying decoder and a restricted generative decoder. The copying decoder finds the position to be copied based on a typical attention model. The generative decoder produces words limited in the source-specific vocabulary. To combine the two decoders and determine the final output, we develop a predictor to predict the mode of copying or rewriting. This predictor can be guided by the actual writing mode in the training data. We conduct extensive experiments on two different paraphrase datasets. The result shows that our model outperforms the state-of-the-art approaches in terms of both informativeness and language quality.

研究动机与目标

• 为解决标准序列到序列模型在释义任务中难以同时捕捉复制与重写两种核心写作模式的局限性。
• 通过将生成解码器限制在小规模、源文本特定的词汇表上，降低计算成本并提高相关性。
• 通过监督预测器显式建模写作模式（复制 vs. 重写），提升模型可解释性与性能。
• 在释义任务中，超越现有序列到序列与统计方法，在信息量与句子质量两方面均表现更优。

提出的方法

• 复制解码器使用标准注意力机制，定位并直接从源输入中复制词语。
• 受限生成解码器仅从由对齐的源-目标词语与高频词构成的源特定词汇表中生成词语。
• 训练一个二元序列标注预测器，基于训练数据中的真实写作模式，预测每个输出标记应来自复制还是重写。
• 最终输出通过结合两个解码器的预测结果确定，预测器在每一步选择使用哪种模式。
• 源-目标对齐表预先训练，并用于构建受限词汇表，从而提升相关性与效率。
• 模型通过交叉熵损失联合训练两个解码器，并使用序列标注损失训练模式预测器。

实验结果

研究问题

• RQ1 统一的序列到序列模型能否有效建模释义生成中的复制与重写行为？
• RQ2 将生成解码器限制在源特定词汇表上，对性能与效率有何影响？
• RQ3 与无监督或基于注意力的模式选择相比，监督模式预测是否能提升释义输出的准确率与流畅度？
• RQ4 所提模型能否在信息量与流畅度两方面均优于最先进序列到序列与统计方法？

主要发现

• CoRe 在抽象摘要与文本简化任务上，均优于最先进序列到序列模型与统计机器翻译方法。
• 通过有效复制源文档中不同部分的关键术语，模型实现了更高的信息量，避免了标准序列到序列模型中对连续词块的过度依赖。
• 受限生成解码器的输出维度仅为标准模型的十分之一，却覆盖了超过 95% 的目标词，生成了高度相关的结果重写。
• 测试集中超过 130 个样本的生成结果与参考答案完全一致，表明其与人类释义模式高度一致。
• 预测器成功学习到合适的模式选择，CoRe 通过将短语如 'told @entity3' 简化为 'said'，模仿了人类摘要行为。
• 与 Moses（重复源文本）和 ABS（生成不完整或错误句子）相比，CoRe 生成的输出更具流畅性与简洁性。