[论文解读] Can Eye Movement Data Be Used As Ground Truth For Word Embeddings Evaluation?

Amir Bakarov|arXiv (Cornell University)|Apr 23, 2018

Neurobiology of Language and Bilingualism参考文献 1被引用 6

一句话总结

本研究探讨了静默阅读过程中的眼动数据是否可作为评估词嵌入的跨语言独立真实标准。基于英语和俄语的眼动数据集（Provo、GECO、俄语语料库）以及在国家语料库和网络语料库上训练的词向量，作者发现词嵌入与眼动模式之间的相关性微弱且不稳定，挑战了眼动数据能可靠反映跨语言词汇语义的假设。

ABSTRACT

In recent years a certain success in the task of modeling lexical semantics was obtained with distributional semantic models. Nevertheless, the scientific community is still unaware what is the most reliable evaluation method for these models. Some researchers argue that the only possible gold standard could be obtained from neuro-cognitive resources that store information about human cognition. One of such resources is eye movement data on silent reading. The goal of this work is to test the hypothesis of whether such data could be used to evaluate distributional semantic models on different languages. We propose experiments with English and Russian eye movement datasets (Provo Corpus, GECO and Russian Sentence Corpus), word vectors (Skip-Gram models trained on national corpora and Web corpora) and word similarity datasets of Russian and English assessed by humans in order to find the existence of correlation between embeddings and eye movement data and test the hypothesis that this correlation is language independent. As a result, we found that the validity of the hypothesis being tested could be questioned.

研究动机与目标

• 测试静默阅读的眼动数据是否可作为词嵌入的可靠、跨语言独立评估基准。
• 调查词嵌入与眼动数据之间的相关性在不同语言（尤其是英语和俄语）中是否一致。
• 评估神经认知数据（如注视持续时间与回视频率）是否以与分布语义模型一致的方式反映语义相似性。
• 比较在国家语料库与网络语料库上训练的词嵌入在两种类型差异显著的语言中与眼动数据的表现。
• 评估使用眼动数据作为人类词汇语义代理以进行词表示内在评估的有效性。

提出的方法

• 从三个语料库收集眼动数据：Provo语料库（英语）、GECO（英语）和俄语语料库（俄语），重点关注注视持续时间与回视频率。
• 在俄罗斯国家语料库与俄罗斯网络语料库上训练Skip-gram词嵌入，并针对跨语言比较在相应英语语料库上训练类似模型。
• 通过与注视持续时间的相关性，使用词嵌入向量与眼动数据计算目标词与其最近邻之间的词相似度得分。
• 使用Spearman等级相关系数测量词嵌入相似度与基于眼动数据的相似度之间的相关性。
• 评估不同嵌入训练方式（国家语料库 vs. 网络语料库）及语言对之间相关性的稳健性。
• 使用人工标注的词相似度数据集（如SimLex-999、Ruscorpora）作为参考进行比较，但核心评估指标聚焦于眼动数据与词嵌入之间的相关性。

实验结果

研究问题

• RQ1 在英语和俄语中，词嵌入与眼动数据（如注视持续时间）之间是否存在显著相关性？
• RQ2 词嵌入与眼动数据之间的相关性是否在不同语言间保持一致，表明其具有跨语言有效性？
• RQ3 在国家语料库上训练的词嵌入与在网页语料库上训练的词嵌入在与眼动数据的相关性方面表现如何？
• RQ4 静默阅读的眼动数据是否可被视为词嵌入内在评估中词汇语义的可靠代理？
• RQ5 眼动模式与词嵌入之间的关系是否具有语言依赖性，表明此类数据可能无法反映普遍语义结构？

主要发现

• 在英语和俄语数据集中，词嵌入与眼动数据（如注视持续时间）之间的相关性微弱且不稳定。
• 即使使用大规模语料库训练的高质量词嵌入，也未观察到词嵌入与眼动特征（如注视持续时间或回视次数）之间存在强烈或稳定的关联。
• 词嵌入与眼动数据之间的相关性并未显著高于随机基线水平，表明其作为语义评估代理的有效性有限。
• 结果不支持眼动数据是可靠、跨语言独立的词嵌入评估真实标准的假设。
• 跨语言间缺乏一致的相关性削弱了眼动数据反映普遍词汇语义的主张。
• 本研究未发现国家语料库训练的嵌入在预测眼动模式方面优于网络语料库训练的嵌入，进一步削弱了眼动追踪作为黄金标准的有效性。