[论文解读] Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning

Li Lucy, Jon Gauthier|arXiv (Cornell University)|May 31, 2017

Topic Modeling参考文献 20被引用 15

一句话总结

本文评估了标准分布词表示（如 GloVe 和 word2vec）在多大程度上准确捕捉了具体概念的具身感知特征，方法是将其与人类标注的语义规范数据集进行比较。研究发现，这些模型在编码颜色、形状和纹理等感知特征方面系统性地表现不佳，且这些缺陷与词相似性预测中的错误存在相关性，表明需要采用具身化或多模态学习方法。

ABSTRACT

Distributional word representation methods exploit word co-occurrences to build compact vector encodings of words. While these representations enjoy widespread use in modern natural language processing, it is unclear whether they accurately encode all necessary facets of conceptual meaning. In this paper, we evaluate how well these representations can predict perceptual and conceptual features of concrete concepts, drawing on two semantic norm datasets sourced from human participants. We find that several standard word representations fail to encode many salient perceptual features of concepts, and show that these deficits correlate with word-word similarity prediction errors. Our analyses provide motivation for grounded and embodied language learning approaches, which may help to remedy these deficits.

研究动机与目标

• 评估分布词表示是否能够捕捉人类语义规范中记录的具体概念的感知与概念特征。
• 探究感知特征编码失败是否与分布模型在词相似性预测中的错误相关。
• 识别在分布模型中代表性缺陷最严重的语义领域。
• 为具身化和多模态语言学习方法提供实证动机。

提出的方法

• 本研究使用两个语义规范数据集——CSLB 和 CLOCC——其中包含对具体概念的人工标注的感知与概念特征。
• 通过训练线性分类器从词向量预测特征存在性，来评估词表示（GloVe、word2vec、LSA）的性能。
• 特征拟合分数通过每个概念内各特征预测的 F1 分数计算得出。
• 采用一种结合 LSA 向量与特征拟合分数的自定义距离度量，用于层次聚类，以识别代表性质量较低的语义领域。
• 将词嵌入模型的词相似性预测结果与语义规范数据及 WordNet 的结果进行比较，以评估一致性。
• 通过在概念和特征类别上进行配对 t 检验，测试性能差异的统计显著性。

实验结果

研究问题

• RQ1 标准分布词表示在多大程度上能够捕捉人类语义规范中报告的具体概念的感知特征？
• RQ2 感知特征编码缺陷如何影响分布模型的词相似性预测？
• RQ3 是否存在某些语义领域，其分布表示在捕捉具身特征方面持续表现不佳？
• RQ4 这些代表性缺陷是否在不同训练语料和模型中均出现，表明分布方法存在普遍性局限？

主要发现

• 与概念特征相比，GloVe 和 word2vec 表示在预测感知特征方面显著表现不佳，F1 分数差异具有统计学显著性（p < 0.01）。
• 在所有概念中，感知特征的中位数特征拟合分数为 62.1%，表明超过三分之一的感知特征编码效果较差。
• 感知特征编码较差的词语，在与语义规范数据及 WordNet 的比较中，更可能产生不一致的相似性预测。
• 层次聚类结果表明，水果、蔬菜和武器等整个语义领域均表现出较低的中位数特征拟合分数，表明在特定概念类别中存在系统性缺陷。
• 在不同训练语料（Common Crawl 与 Wikipedia）中，感知特征与概念特征之间的性能差距依然存在，表明这是分布方法的普遍性局限。
• 研究发现低特征拟合分数与高词相似性预测误差之间存在强烈相关性，表明具身化缺陷会直接影响下游 NLP 任务。