[论文解读] Evaluating vector-space models of analogy

Dawn Chen, Joshua C. Peterson+1 more|arXiv (Cornell University)|May 12, 2017

Cognitive Science and Education Research参考文献 14被引用 31

一句话总结

本文通过将现代词嵌入模型（如 word2vec 和 GloVe）对关系相似性的预测与人类判断进行比较，评估了类比的平行四边形模型。研究发现，尽管该模型能较好地捕捉某些语义关系，但无法再现人类对几何约束（如三角不等式）的违反，揭示了其在建模类人类类比推理方面的根本局限性。

ABSTRACT

Vector-space representations provide geometric tools for reasoning about the similarity of a set of objects and their relationships. Recent machine learning methods for deriving vector-space embeddings of words (e.g., word2vec) have achieved considerable success in natural language processing. These vector spaces have also been shown to exhibit a surprising capacity to capture verbal analogies, with similar results for natural images, giving new life to a classic model of analogies as parallelograms that was first proposed by cognitive scientists. We evaluate the parallelogram model of analogy as applied to modern word embeddings, providing a detailed analysis of the extent to which this approach captures human relational similarity judgments in a large benchmark dataset. We find that that some semantic relationships are better captured than others. We then provide evidence for deeper limitations of the parallelogram model based on the intrinsic geometric constraints of vector spaces, paralleling classic results for first-order similarity.

研究动机与目标

• 评估现代向量空间模型（word2vec、GloVe）在言语类比中预测人类关系相似性判断的准确性。
• 探究类比的平行四边形模型（即关系通过向量差表示）是否准确反映了人类认知上的相似性判断。
• 检验人类关系相似性判断是否违反向量空间模型所受几何约束（如三角不等式）。
• 确定向量空间模型的局限性是否源于其固有几何属性，而非嵌入方法的次优性。

提出的方法

• 收集了一个包含 5,000 组词对比较的新数据集，涵盖 10 种语义关系类型，包括类属包含、对比和部分整体关系。
• 实施一项人类评分任务，参与者在 7 点量表上评估类比质量，包含 12 组类比三元组（1-2、2-3、1-3 类型）以测试关系相似性。
• 通过 word2vec 和 GloVe 嵌入中差向量之间的余弦相似度计算预测的关系相似性（例如，v_queen - v_king）。
• 对人类评分进行重复测量方差分析，并对预测相似性进行独立样本方差分析，以检验类比类型的影响。
• 使用 Tukey HSD 事后检验比较不同类比类型（1-2、2-3、1-3）的平均评分与预测相似性。
• 分析人类判断中违反几何公理（对称性、三角不等式）的情况，并与向量空间模型的预测进行比较。

实验结果

研究问题

• RQ1 word2vec 和 GloVe 嵌入在多大程度上能预测人类在言语类比中的关系相似性判断？
• RQ2 人类对关系相似性的判断是否违反诸如三角不等式等几何约束？若违反，这对向量空间模型有何影响？
• RQ3 是否存在某些语义关系类型（如相似、部分-整体）使得平行四边形模型表现优于其他类型？
• RQ4 向量空间模型无法预测人类关系相似性是否可归因于向量空间固有的几何约束？
• RQ5 在不同类比结构下，word2vec 和 GloVe 嵌入的预测与人类评分在关系相似性方面有何差异？

主要发现

• 人类评分显示类比类型对质量有显著影响，其中 1-2 类型（M=5.44，SD=.99）和 2-3 类型（M=5.43，SD=.63）的评分显著高于 1-3 类型（M=2.99，SD=.46），p<.001。
• 对人类评分的方差分析显示类比类型有显著影响，F(2,33)=45.57，p<.001，表明参与者根据结构感知到的关系相似性不同。
• word2vec 和 GloVe 的预测关系相似性均未显示类比类型的显著影响：word2vec 的 F(2,33)=1.20，p=.31；GloVe 的 F(2,33)=.24，p=.79。
• 在 12 组三元组中有 7 组中，预期模式（1-2 和 2-3 的评分高于 1-3）在人类评分中具有统计显著性，但该模式未被向量模型一致预测。
• 人类判断违反了三角不等式，表现为 1-2 和 2-3 类比的评分高于 1-3，尽管若三角不等式成立，1-3 类比应是最相似的。
• 向量空间模型无法再现人类关系相似性模式的根本原因在于其固有的几何约束（如三角不等式），这些约束无法通过改进嵌入方法来克服。