[论文解读] Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain

Gerhard Wohlgenannt, Ariadna Barinova+2 more|arXiv (Cornell University)|Mar 7, 2019

Topic Modeling参考文献 38被引用 4

一句话总结

本文引入了高质量、人工精心标注的数据集，用于分布语义任务——词语类比与词语干扰（word intrusion）——基于两部奇幻小说系列《冰与火之歌》与《哈利·波特》。该研究在这些数据集上评估了多种词嵌入模型（word2vec、GloVe、fastText、LexVec），结果表明，即使在小语料上训练的嵌入模型在词语干扰任务上表现良好，其中CBOW模型在最难类别中表现最优，并为数字人文NLP领域的可复现研究与未来基准测试提供了开源资源。

ABSTRACT

Word embeddings are already well studied in the general domain, usually trained on large text corpora, and have been evaluated for example on word similarity and analogy tasks, but also as an input to downstream NLP processes. In contrast, in this work we explore the suitability of word embedding technologies in the specialized digital humanities domain. After training embedding models of various types on two popular fantasy novel book series, we evaluate their performance on two task types: term analogies, and word intrusion. To this end, we manually construct test datasets with domain experts. Among the contributions are the evaluation of various word embedding techniques on the different task types, with the findings that even embeddings trained on small corpora perform well for example on the word intrusion task. Furthermore, we provide extensive and high-quality datasets in digital humanities for further investigation, as well as the implementation to easily reproduce or extend the experiments.

研究动机与目标

• 评估在小语料上训练的词嵌入模型在特定数字人文领域（尤其是文学文本）中的表现。
• 为奇幻文学语境下的分布语义任务创建高质量、专家标注的测试数据集。
• 为未来在特定领域、低资源设置下的词嵌入研究建立可复现的基线。
• 探究超参数、词频以及命名实体处理对嵌入模型性能的影响。
• 提供开源的数据集、训练好的模型与评估代码，以支持可扩展性与基准测试。

提出的方法

• 在两部奇幻小说语料（《冰与火之歌》与《哈利·波特》）上训练了多种词嵌入模型（word2vec、GloVe、fastText、LexVec）。
• 设计了两种不同的任务类型：词语类比（例如，husband:wife, sigil:house）与词语干扰（在四个词中识别出异常项）。
• 通过领域专家构建数据集，以确保两种任务类型的高质量真实标签。
• 通过组合小说系列、任务类型与一元语法/ n-gram 模型，生成八个评估数据集，以捕捉命名实体（如 'Many Faced God'）。
• 采用基线方法（如PPMI）与预训练嵌入进行对比，并执行网格搜索以优化超参数。
• 通过GitHub共享所有数据集、训练好的模型与评估代码，以确保可复现性与可扩展性。

实验结果

研究问题

• RQ1 在小语料文学文本上训练的词嵌入模型在数字人文领域中的词语类比与词语干扰任务上的表现如何？
• RQ2 在每类任务中，哪种词嵌入技术（如word2vec、GloVe、fastText）表现最佳？超参数（如窗口大小）如何影响性能？
• RQ3 语料中任务术语的词频如何影响词嵌入模型的准确率？
• RQ4 命名实体与多词表达如何影响嵌入质量？n-gram在捕捉这些表达中起到什么作用？
• RQ5 在这些特定领域任务中，词嵌入在多大程度上优于传统分布语义模型（如PPMI）？

主要发现

• 即使在相对较小的语料上训练的嵌入模型，在词语干扰任务上也表现出色，其中CBOW模型在最困难的难度类别中优于其他模型。
• GloVe模型在类比任务中表现优异，而word2vec在词语相似性任务中更占优势，这与一般领域评估中的既往发现一致。
• 较大的词窗口（可能跨越句子边界）有利于类比推理，而较小的窗口则提升了词语干扰任务的性能。
• 词频具有显著影响：在文本中出现超过100次的术语，其嵌入质量显著提升，且预测词的频率比正确答案的频率更具决定性。
• PPMI的表现与部分嵌入模型相当，尤其在词语干扰任务中，但总体而言，词嵌入在两个小说系列与两类任务中均优于PPMI。
• 本研究提供了一个全面的开源资源套件，包含共31,474个评估问题（ASOIF为16,220个，HP为15,254个），并附带训练好的模型与可复现、可扩展的代码。