[论文解读] Dictionary-Guided Editing Networks for Paraphrase Generation

Shaohan Huang, Yu Wu+2 more|arXiv (Cornell University)|Jun 21, 2018

Topic Modeling参考文献 2被引用 8

一句话总结

本文提出了一种字典引导的编辑网络，通过在序列到序列框架内使用软注意力机制，从预先构建的释义词典（PPDB）中选择性地替换原句中的词语或短语，从而生成释义句。该模型在MSCOCO和Quora数据集上的表现优于现有的序列到序列基线模型，在BLEU和METEOR得分上达到了最先进水平。

ABSTRACT

An intuitive way for a human to write paraphrase sentences is to replace words or phrases in the original sentence with their corresponding synonyms and make necessary changes to ensure the new sentences are fluent and grammatically correct. We propose a novel approach to modeling the process with dictionary-guided editing networks which effectively conduct rewriting on the source sentence to generate paraphrase sentences. It jointly learns the selection of the appropriate word level and phrase level paraphrase pairs in the context of the original sentence from an off-the-shelf dictionary as well as the generation of fluent natural language sentences. Specifically, the system retrieves a set of word level and phrase level araphrased pairs derived from the Paraphrase Database (PPDB) for the original sentence, which is used to guide the decision of which the words might be deleted or inserted with the soft attention mechanism under the sequence-to-sequence framework. We conduct experiments on two benchmark datasets for paraphrase generation, namely the MSCOCO and Quora dataset. The evaluation results demonstrate that our dictionary-guided editing networks outperforms the baseline methods.

研究动机与目标

• 开发一种神经释义生成模型，通过使用同义词和短语替换的方式模仿人类编辑行为，重写源句。
• 联合学习从现成词典（PPDB）中选择语境相关的词语和短语释义对，以及生成流畅、语法正确的释义句。
• 通过引入词汇资源中的显式编辑信号，改进现有从零开始生成释义的序列到序列模型。
• 证明字典引导的编辑能够生成质量更高的释义句，具有更好的流畅性和语义保留性。

提出的方法

• 对于每个输入句子，模型从释义数据库（PPDB）中检索词语和短语的释义对。
• 在解码过程中，使用软注意力机制动态关注字典中相关的释义对，以指导词语的删除和插入决策。
• 通过引入一种编辑注意力机制，增强序列到序列框架，使解码输出与字典中的特定释义对对齐。
• 利用可微分的注意力机制，联合优化释义对的选择与流畅句子的生成。
• 注意力机制为删除和插入操作分别计算得分，并通过列方向归一化来平衡每个字典对的影响。
• 在MSCOCO和Quora数据集上，使用序列生成的交叉熵损失进行端到端训练。

实验结果

研究问题

• RQ1 神经模型能否有效学习通过使用预存在的释义词典来编辑原句以生成释义？
• RQ2 在解码过程中，字典引导的注意力机制在选择语境相关的词语和短语替换方面表现如何？
• RQ3 与端到端生成相比，从词汇资源中引入显式编辑信号是否能提升生成释义的流畅性和语义准确性？
• RQ4 该模型在基准释义生成数据集上相较于标准序列到序列基线模型，性能提升程度如何？

主要发现

• 在MSCOCO数据集上，所提方法取得了42.6的BLEU得分和31.3的METEOR得分，优于所有基线方法，包括VAE-SVG-eq和Residual LSTM。
• 在Quora数据集上，该模型在束搜索大小为10时，取得了28.4的BLEU得分和30.6的METEOR得分，显著优于次佳基线VAE-SVG-eq（束搜索大小为10时，BLEU得分为37.1，METEOR得分为32.0）。
• 注意力机制的可视化结果表明，模型成功学习将生成的词语与相关释义对对齐，例如将'television'与字典对（a tv, a television）对齐。
• 该模型通过替换特定词语或短语（例如将'make money'替换为'earn money）成功生成了流畅的释义句，同时保持了语法正确性和语义等价性。
• 消融实验表明，与标准序列到序列模型相比，引入字典引导注意力显著提升了释义质量。