[论文解读] Features of word similarity

Arthur M. Jacobs, Annette Kinder|arXiv (Cornell University)|Aug 24, 2018

Topic Modeling参考文献 42被引用 5

一句话总结

本文利用28种结合表层特征与语义特征的计算模型，研究词对相似度评分，评估其在约900对人类评分的词对上的预测性能。结果表明，词相似度并非仅基于语义相关性，且模型的交叉验证准确率有限，提示需要发展更符合人类心理过程的相似度评分任务模型。

ABSTRACT

In this theoretical note we compare different types of computational models of word similarity and association in their ability to predict a set of about 900 rating data. Using regression and predictive modeling tools (neural net, decision tree) the performance of a total of 28 models using different combinations of both surface and semantic word features is evaluated. The results present evidence for the hypothesis that word similarity ratings are based on more than only semantic relatedness. The limited cross-validated performance of the models asks for the development of psychological process models of the word similarity rating task.

研究动机与目标

• 评估各种计算模型在解释人类评分的词相似度方面的预测能力。
• 确定表层特征（如拼写或发音相似性）是否对词相似度判断有显著贡献。
• 评估仅语义相关性是否足以解释人类的相似度评分。
• 识别当前模型中限制其对人类数据预测准确率的缺陷。
• 推动发展更真实反映人类如何评分词相似度的心理过程模型。

提出的方法

• 本研究采用回归与预测建模技术，包括神经网络与决策树，以评估模型性能。
• 共构建了28种模型，采用不同的表层特征（如拼写、发音）与语义特征（如分布词向量）组合。
• 模型在约900对人类评分的词相似度对上进行训练与测试。
• 使用交叉验证评估模型泛化能力，避免过拟合。
• 通过标准回归指标衡量性能，以比较模型准确率。
• 分析重点在于识别哪种特征组合最能预测人类的相似度判断。

实验结果

研究问题

• RQ1 表层词特征（如拼写或发音相似性）在多大程度上影响人类的词相似度评分？
• RQ2 纯粹的语义特征在多大程度上能预测人类评分的词相似度？
• RQ3 结合表层与语义特征的模型是否能显著提升相对于单一特征模型的预测准确率？
• RQ4 为何现有模型尽管使用了多样化特征，仍表现出有限的预测性能？
• RQ5 当前模型未能捕捉的心理机制可能是什么，这些机制可能在人类词相似度判断中起作用？

主要发现

• 仅依赖语义相关性的模型在预测人类相似度评分方面表现较差。
• 引入表层特征（如拼写或发音相似性）提升了模型性能，表明其在相似度判断中的相关性。
• 表现最佳的模型结合了表层与语义特征，但即使如此，其交叉验证预测准确率仍有限。
• 所有模型整体表现平庸，表明当前计算模型未能捕捉人类相似度判断的全部复杂性。
• 研究结果支持一种假设：词相似度评分受多种因素影响，不仅限于语义相关性，还包括感知与认知过程。
• 本研究呼吁开发更贴近人类认知机制的心理过程模型，以更好地反映词相似度评分任务中的认知过程。