[论文解读] From Paraphrase Database to Compositional Paraphrase Model and Back

John Wieting, Mohit Bansal+3 more|arXiv (Cornell University)|Jun 10, 2015

Topic Modeling参考文献 36被引用 28

一句话总结

本文提出了一种参数化释义模型，利用释义数据库（PPDB）学习改进的词和短语嵌入，通过跳字模型微调和递归神经网络实现。该模型在词汇相似性基准测试中达到最先进性能，并引入了两个新的由人工标注的数据集，用于评估短语释义，通过重新排序和组合建模显著提升了PPDB的覆盖范围和可靠性。

ABSTRACT

The Paraphrase Database (PPDB; Ganitkevitch et al., 2013) is an extensive semantic resource, consisting of a list of phrase pairs with (heuristic) confidence estimates. However, it is still unclear how it can best be used, due to the heuristic nature of the confidences and its necessarily incomplete coverage. We propose models to leverage the phrase pairs from the PPDB to build parametric paraphrase models that score paraphrase pairs more accurately than the PPDB's internal scores while simultaneously improving its coverage. They allow for learning phrase embeddings as well as improved word embeddings. Moreover, we introduce two new, manually annotated datasets to evaluate short-phrase paraphrasing models. Using our paraphrase model trained using PPDB, we achieve state-of-the-art results on standard word and bigram similarity tasks and beat strong baselines on our new short phrase paraphrase tasks.

研究动机与目标

• 为解决PPDB的局限性，包括启发式置信度分数和覆盖不全的问题，通过构建参数化释义模型来改进。
• 利用PPDB作为预训练资源，改进词和短语嵌入，以提升语义相似性任务的性能。
• 引入两个新的由人工标注的数据集——Annotated-PPDB和ML-Paraphrase——用于评估短语释义模型。
• 通过使用学习到的模型基于学习到的语义相似度对释义对进行重新排序，实现PPDB的覆盖范围扩展。
• 比较加法组合与基于RNN的组合方法在生成短语嵌入方面的有效性，并在新基准和标准基准上进行评估。

提出的方法

• 在PPDB的词对上微调跳字模型词向量，以生成专为释义检测优化的'paragram'词向量。
• 使用paragram向量的加法组合来嵌入短语，将短语相似度视为向量加法。
• 直接在PPDB的短语对上训练递归神经网络（RNN），以学习组合式短语表示。
• 在训练目标中应用余弦相似度和负采样，以提升向量质量和泛化能力。
• 使用人工标注的数据集（Annotated-PPDB和ML-Paraphrase）来调整超参数并评估模型性能。
• 通过预训练的GloVe嵌入将paragram向量扩展到300维，提升在标准基准上的性能。

实验结果

研究问题

• RQ1 能否利用PPDB训练出参数化释义模型，使其性能优于其原生的启发式置信度分数？
• RQ2 加法组合与基于RNN的组合方法在从学习到的词向量生成短语嵌入方面有多有效？
• RQ3 所提出的模型能否通过重新排序释义对，显著提升PPDB的覆盖范围和准确性？
• RQ4 新的人工标注数据集是否能为评估短语释义模型提供可靠的基准？
• RQ5 高维paragram向量能否在词汇相似性任务中达到人类水平的性能？

主要发现

• 300维的paragram向量在SimLex-999和WS353词汇相似性基准测试中达到人类水平性能。
• paragram向量的加法组合在Annotated-PPDB上的表现与更复杂的RNN模型相当，相关系数为0.43。
• 在ML-Paraphrase数据集上，基于RNN的模型优于加法模型，表明其对双词级别释义关系建模更优。
• 使用学习到的模型对PPDB进行重新排序，与人类判断的相关性显著优于原始启发式分数。
• paragram 300,SL999向量在SL999上的Spearman相关系数达到0.640，为迄今报告的最高结果。
• 作者发布了新的数据集、代码和训练好的模型，使自然语言处理社区能够更广泛地使用并实现结果复现。