[论文解读] Discriminative Phrase Embedding for Paraphrase Identification

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Apr 2, 2016

Natural Language Processing Techniques被引用 3

一句话总结

本文提出 TF-KLD-KNN，一种判别性加权方案，通过在嵌入空间中使用 k-最近邻方法扩展 TF-KLD 以处理未登录词单元，并引入连续与非连续短语嵌入的联合学习。通过结合这些方法与基于余弦相似度、逐元素求和及差值特征的加权句子向量求和，该方法在 MSRP 释义识别基准上实现了最先进性能，其在子集上的 F1 值最高提升 0.052。

ABSTRACT

This work, concerning paraphrase identification task, on one hand contributes to expanding deep learning embeddings to include continuous and discontinuous linguistic phrases. On the other hand, it comes up with a new scheme TF-KLD-KNN to learn the discriminative weights of words and phrases specific to paraphrase task, so that a weighted sum of embeddings can represent sentences more effectively. Based on these two innovations we get competitive state-of-the-art performance on paraphrase identification.

研究动机与目标

• 通过引入超越单个词汇的连续与非连续短语，改进释义识别中的句子表示。
• 通过在嵌入空间中使用 k-最近邻方法扩展 TF-KLD 以处理未知单元，解决特征加权中的数据稀疏性问题。
• 通过增强的句子向量组合与特征工程，在 MSRP 释义识别数据集上实现最先进性能。
• 评估在释义识别背景下，语言学方法与统计方法检测短语的有效性。

提出的方法

• 利用来自维基词典和 WordNet 的大规模基于词典的短语集合，学习单个词汇、连续短语（如 'side effects'）和非连续短语（如 'pick ... off'）的分布式嵌入。
• 基于共现统计信息提出启发式方法，将短语分类为连续或非连续。
• 提出 TF-KLD-KNN：一种重加权方案，通过余弦相似度在嵌入空间中计算未知单元的权重，即取其 k 个最近邻权重的平均值。
• 将句子表示为单元嵌入的加权和，其中权重来自 TF-KLD-KNN，并计算三类句子对特征：余弦相似度、逐元素求和与绝对差值。
• 将这些学习到的特征与标准机器翻译指标（MT 特征）结合，并使用线性 SVM 进行分类训练。
• 使用 word2vec 的 skip-gram 模型结合 word2phrase 生成统计短语嵌入，用于与语言学定义的短语进行比较。

实验结果

研究问题

• RQ1 引入连续与非连续短语是否能改善释义识别中的句子表示？
• RQ2 在判别性特征加权背景下，TF-KLD-KNN 对未登录词单元的处理效果如何？
• RQ3 在释义识别中，使用语言学动机的短语是否优于统计推导的短语？
• RQ4 组合特征（余弦、求和、差值）相较于单一特征，能在多大程度上提升性能？

主要发现

• WORD+PHRASE（同时使用词与短语嵌入并采用 TF-KLD-KNN 加权）在整体 MSRP 数据集上取得最高 F1 得分 0.848，显著优于 MT 基线（p < 0.05）。
• 在较小子集上，WORD+PHRASE 的 F1 达 0.857，优于 MT 基线 0.028，优于次佳系统 0.008。
• TF-KLD-KNN 在所有重加权方案中表现最佳（F1 = 0.848），优于 TF-IDF（F1 = 0.821）和 TF-KLD（F1 = 0.842）。
• 基于 KNN 的未见单元重加权方案优于零值、类型平均值与上下文平均值基线，证实其在处理数据稀疏性方面的有效性。
• WORD+GOOGLE（使用 word2vec 中的统计短语）表现略逊于 WORD+PHRASE，表明语言学短语在此任务中比统计短语更有效。
• WORD+PHRASE 在整体与子集结果之间的性能差距，可归因于不含短语的句子中缺乏短语内容，表明短语嵌入仅在短语存在时才具有增益。