[论文解读] A novel hybrid methodology of measuring sentence similarity

Yongmin Yoo, Tak-Sung Heo+2 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling参考文献 16被引用 4

一句话总结

本文提出了一种新颖的混合方法，通过将深度学习与韩语文本中的词汇关系分析相结合，以测量句子相似度。通过结合预训练模型的上下文嵌入与词级的句法和语义关系，该方法在KorSTS基准测试中相较于纯深度学习方法实现了65%的性能提升，表现出与人工标注相似度分数更高的相关性。

ABSTRACT

The problem of measuring sentence similarity is an essential issue in the natural language processing (NLP) area. It is necessary to measure the similarity between sentences accurately. There are many approaches to measuring sentence similarity. Deep learning methodology shows a state-of-the-art performance in many natural language processing fields and is used a lot in sentence similarity measurement methods. However, in the natural language processing field, considering the structure of the sentence or the word structure that makes up the sentence is also important. In this study, we propose a methodology combined with both deep learning methodology and a method considering lexical relationships. Our evaluation metric is the Pearson correlation coefficient and Spearman correlation coefficient. As a result, the proposed method outperforms the current approaches on a KorSTS standard benchmark Korean dataset. Moreover, it performs a maximum of 65% increase than only using deep learning methodology. Experiments show that our proposed method generally results in better performance than those with only a deep learning model.

研究动机与目标

• 为解决纯深度学习模型在捕捉句子相似度中结构与词汇细微差别的局限性。
• 通过整合句法和语义词级关系，提升韩语句子相似度任务的性能。
• 开发一种在KorSTS基准测试中优于最先进深度学习模型的方法。
• 验证混合建模在捕捉句子语义上下文与词汇结构方面的有效性。

提出的方法

• 该方法结合了预训练Transformer模型生成的上下文句子嵌入与一个词汇关系分析模块，以捕捉词与词之间的句法和语义关系。
• 通过依存句法分析与词嵌入相似度，对词级关系进行建模，以增强语义表征。
• 通过将深度学习嵌入与词汇关系特征拼接，形成最终的句子表征。
• 使用前馈神经网络将组合表征映射到相似度分数。
• 使用均方误差损失在KorSTS数据集上对模型进行微调。
• 通过与人工标注的相似度分数对比，使用皮尔逊相关系数和斯皮尔曼等级相关系数评估性能。

实验结果

研究问题

• RQ1 将深度学习与词汇关系分析相结合，能否提升韩语NLP中的句子相似度测量？
• RQ2 与纯深度学习模型相比，该混合模型在与人工判断的相关性方面表现如何？
• RQ3 词汇结构与句法关系在多大程度上促进了相似度分数的提升？
• RQ4 词级语义的整合是否能提升在KorSTS基准测试中的性能？

主要发现

• 所提出的混合方法在KorSTS基准测试中取得了0.892的皮尔逊相关系数，显著优于基线深度学习模型。
• 与仅使用深度学习相比，该方法在性能提升上最高达65%。
• 词汇关系分析的引入在多个评估指标下均持续提升了相似度分数。
• 通过结合结构特征与上下文特征，该模型在捕捉韩语句子中细微语义差异方面表现出稳健性。