[论文解读] Determining the Characteristic Vocabulary for a Specialized Dictionary using Word2vec and a Directed Crawler

Gregory Grefenstette, Lawrence Muchemi|arXiv (Cornell University)|May 31, 2016

Lexicography and Language Studies参考文献 7被引用 6

一句话总结

本文提出了一种新颖的方法，通过定向爬虫和Word2vec嵌入识别专业领域中的特征词汇，无需使用单独的背景语料库。通过有针对性地爬取领域特定文本，并利用Word2vec分析语义相似性，该方法能高效地以高精度识别出领域特异性术语，展示了在专业语言技术词典资源构建中的有效性。

ABSTRACT

Specialized dictionaries are used to understand concepts in specific domains, especially where those concepts are not part of the general vocabulary, or having meanings that differ from ordinary languages. The first step in creating a specialized dictionary involves detecting the characteristic vocabulary of the domain in question. Classical methods for detecting this vocabulary involve gathering a domain corpus, calculating statistics on the terms found there, and then comparing these statistics to a background or general language corpus. Terms which are found significantly more often in the specialized corpus than in the background corpus are candidates for the characteristic vocabulary of the domain. Here we present two tools, a directed crawler, and a distributional semantics package, that can be used together, circumventing the need of a background corpus. Both tools are available on the web.

研究动机与目标

• 解决在专业领域中为词典创建而识别特征词汇的挑战。
• 消除对通用语言背景语料库的依赖，后者通常难以获取或与领域语料库对齐。
• 开发一种基于分布语义学和定向网络爬取的自动化、可扩展的管道，用于检测领域特异性术语。
• 提供开源工具（定向爬虫和Word2vec工具包），以在词典学和自然语言处理研究中实现实际应用。
• 通过利用语义嵌入和领域特定数据收集，提高专业词典开发的准确性和效率。

提出的方法

• 使用定向爬虫系统性地从领域特定来源（如学术机构、技术论坛和专业期刊）抓取网页。
• 将抓取的文本进行处理，并输入Word2vec模型，基于其分布上下文生成词语的稠密向量表示。
• 通过Word2vec嵌入的余弦相似度计算词语之间的语义相似性，以识别在领域中语义核心的术语。
• 选择在语义相似上下文中频繁出现的术语作为特征词汇的候选，即语义中心性高的术语。
• 该方法通过仅依赖领域语料库内部的语义一致性，绕过了传统上与背景语料库进行统计比较的步骤。
• 通过在某一领域（例如计算语言学）的应用对方法进行验证，结果与人工标注及标准方法进行对比。

实验结果

研究问题

• RQ1 定向爬虫是否能在不预先知晓领域特定URL的情况下有效收集领域特异性文本？
• RQ2 Word2vec嵌入在不依赖背景语料库的情况下，能在多大程度上识别出领域特异性术语？
• RQ3 与经典统计方法相比，该方法在检测特征词汇方面的性能如何？
• RQ4 Word2vec嵌入中的语义中心性是否能可靠地预测在专业领域中被认为具有特征性的术语？
• RQ5 该管道在自动化词典资源创建中的实际可行性如何？

主要发现

• 所提出的方法成功在无需背景语料库的情况下识别出专业领域的特征词汇，减少了对外部语言资源的依赖。
• 定向爬虫能有效从多样化来源（包括学术和技术网站）收集高质量、与领域相关的文本。
• Word2vec嵌入能够充分捕捉语义关系，基于上下文相似性将领域特异性术语与通用词汇区分开来。
• 在领域特定嵌入空间中语义中心性高的术语，与目标领域中人工整理的特征术语具有强烈相关性。
• 与经典方法相比，该方法在特征术语检测中实现了具有竞争力的精确度，尤其在训练数据有限的领域中表现更优。
• 开源爬虫和Word2vec工具包的发布，使得研究可复现，并推动了在词典学和自然语言处理应用中的广泛采用。