[论文解读] Entity Recognition at First Sight: Improving NER with Eye Movement Information

Nora Hollenstein, Ce Zhang|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 30被引用 12

一句话总结

本文提出通过从眼动追踪数据中提取的注视嵌入来增强神经命名实体识别（NER）模型，表明眼动特征——尤其是以词性类别为单位聚合后的特征——在个体和跨领域设置下均能显著提升NER性能。主要贡献在于提出了一种方法，使NER在推理阶段无需实时眼动追踪数据即可有效运行，进而在CoNLL-2003基准测试中实现3%的F1分数提升。

ABSTRACT

Previous research shows that eye-tracking data contains information about the lexical and syntactic properties of text, which can be used to improve natural language processing models. In this work, we leverage eye movement features from three corpora with recorded gaze information to augment a state-of-the-art neural model for named entity recognition (NER) with gaze embeddings. These corpora were manually annotated with named entity labels. Moreover, we show how gaze features, generalized on word type level, eliminate the need for recorded eye-tracking data at test time. The gaze-augmented models for NER using token-level and type-level features outperform the baselines. We present the benefits of eye-tracking features by evaluating the NER models on both individual datasets as well as in cross-domain settings.

研究动机与目标

• 探究人类阅读过程中的眼动信号是否能增强神经命名实体识别（NER）模型的性能。
• 创建并公开发布一个包含三个眼动追踪语料库的手动标注数据集，其中包含命名实体标签，以支持NER研究。
• 开发一种集成注视嵌入的神经NER架构，以超越标准文本特征提升实体识别性能。
• 探索是否可通过在词性类别层面泛化注视特征，从而在推理阶段消除对记录眼动数据的依赖。
• 评估注视增强模型在不同领域间的泛化能力，包括在无眼动数据的外部基准数据集上的表现。

提出的方法

• 作者收集并对手动标注的三个眼动追踪语料库（Dundee、GECO、ZuCo）进行命名实体标注，构建了一个公开可用的数据集。
• 从每个语料库中记录的眼动数据中提取眼动特征，如注视持续时间、注视时长和扫视长度，对应到每个词元。
• 通过在词元级别将注视嵌入与上下文词表示（如BERT或类似模型）拼接，增强神经NER模型。
• 提出类型聚合的注视特征，即将每种词性类别（例如，所有作为人名或组织名的'Apple'）的注视统计量进行平均，从而减少对逐词元眼动数据的依赖。
• 使用交叉熵损失在标注语料库上微调模型，并在域内和域外测试集上进行评估。
• 通过在一个或多个眼动追踪数据集上进行训练，并在未见数据（包括CoNLL-2003基准）上测试，开展跨领域评估，以评估泛化能力。

实验结果

研究问题

• RQ1 人类阅读过程中的眼动信号是否能提升最先进神经NER模型的性能？
• RQ2 在测试阶段是否可以使用在词性类别层面泛化的注视特征来替代逐词元的注视数据，而不会损失性能？
• RQ3 在无记录眼动数据的测试数据上，注视增强NER模型在跨领域设置下的有效性如何？
• RQ4 哪些命名实体类型从注视增强特征中获益最多？原因是什么？
• RQ5 注视特征的整合是否更显著地提升了召回率而非精确率？这反映了所捕捉语言信号的何种本质特征？

主要发现

• 在所有三个独立的眼动追踪语料库上，注视增强的NER模型均优于基线模型，F1分数提升具有统计学显著性。
• 在CoNLL-2003基准语料库上——该语料库未记录任何眼动数据——使用类型聚合注视特征的模型实现了3%的绝对F1分数提升（从63.92提升至66.61）。
• 使用类型聚合注视特征的模型在ORGANIZATION类别上表现最显著的提升，该类别是识别最困难的实体类型。
• 与基线相比，注视增强模型的召回率显著提高，表明注视特征有助于检测更多真正例，尤其对罕见或模糊的实体。
• 即使在CoNLL-2003测试集中超过20%的词元具有未知的注视特征值，模型仍保持强劲性能，表明其对缺失眼动数据具有鲁棒性。
• 在跨领域设置中，类型聚合的注视特征尤为有效，在泛化到未见领域时，其性能优于依赖逐词元注视数据的模型。