[论文解读] A Survey of Word Embeddings Evaluation Methods

Amir Bakarov|arXiv (Cornell University)|Jan 21, 2018

Topic Modeling参考文献 93被引用 131

一句话总结

本论文提出了对词嵌入评估的全面分类体系，详细描述了16种内在评估方法和12种外在评估方法、数据集，以及核心挑战。

ABSTRACT

Word embeddings are real-valued word representations able to capture lexical semantics and trained on natural language corpora. Models proposing these representations have gained popularity in the recent years, but the issue of the most adequate evaluation method still remains open. This paper presents an extensive overview of the field of word embeddings evaluation, highlighting main problems and proposing a typology of approaches to evaluation, summarizing 16 intrinsic methods and 12 extrinsic methods. I describe both widely-used and experimental methods, systematize information about evaluation datasets and discuss some key challenges.

研究动机与目标

• 系统化并对现有词嵌入评估方法进行分类。
• 提出评估方法的分层类型学。
• 总结并整理用于内在和外在方法的评估数据集。
• 讨论词嵌入评估中的关键挑战和未来方向。

提出的方法

• 引入词嵌入评估方法的分层类型学。
• 区分并描述内在评估方法与外在评估方法。
• 系统化在各方法中使用的评估数据集和任务。
• 讨论诸如语义不清晰、训练数据和 hubness 等关键挑战。
• 突出内在评估与外在评估之间的相关性（或缺乏相关性）。

实验结果

研究问题

• RQ1 词嵌入的主要评估方法有哪些？
• RQ2 存在哪些内在和外在方法，以及它们的运作方式？
• RQ3 在各方法中使用了哪些用于评估词嵌入的数据集？
• RQ4 在评估词嵌入时面临的主要挑战和未解问题有哪些？

主要发现

• 内在评估通常依赖于对词关系的人工判断，但存在主观性和数据集变异性。
• 外在评估将嵌入与下游任务关联，但在不同任务之间缺乏一致的相关性。
• 中心性现象（hubness）和数据质量问题使得评估结果难以可靠。
• 全面的类型学和数据集目录可以统一并指导评估工作。
• 本文强调未来的挑战以及跨学科评估方法。