[论文解读] Document Embedding for Scientific Articles: Efficacy of Word Embeddings vs TFIDF

H. Meijer, Joanne Truong+1 more|arXiv (Cornell University)|Jul 11, 2021

Topic Modeling参考文献 26被引用 7

一句话总结

本研究基于来自 Scopus 的 7000 万篇学术论文语料库，评估了词嵌入与 TFIDF 在建模科学文献内容方面的表现。在标题（短文本）上，训练好的 word2vec 嵌入优于 TFIDF；而在摘要（较长文本）上，TFIDF 略胜一筹，但其内存占用高出 3.7 倍，计算时间最长达 184 倍，因此词嵌入在在线应用中更具效率。期刊嵌入的可视化揭示了相关期刊的有意义聚类。

ABSTRACT

Over the last few years, neural network derived word embeddings became popular in the natural language processing literature. Studies conducted have mostly focused on the quality and application of word embeddings trained on public available corpuses such as Wikipedia or other news and social media sources. However, these studies are limited to generic text and thus lack technical and scientific nuances such as domain specific vocabulary, abbreviations, or scientific formulas which are commonly used in academic context. This research focuses on the performance of word embeddings applied to a large scale academic corpus. More specifically, we compare quality and efficiency of trained word embeddings to TFIDF representations in modeling content of scientific articles. We use a word2vec skip-gram model trained on titles and abstracts of about 70 million scientific articles. Furthermore, we have developed a benchmark to evaluate content models in a scientific context. The benchmark is based on a categorization task that matches articles to journals for about 1.3 million articles published in 2017. Our results show that content models based on word embeddings are better for titles (short text) while TFIDF works better for abstracts (longer text). However, the slight improvement of TFIDF for larger text comes at the expense of 3.7 times more memory requirement as well as up to 184 times higher computation times which may make it inefficient for online applications. In addition, we have created a 2-dimensional visualization of the journals modeled via embeddings to qualitatively inspect embedding model. This graph shows useful insights and can be used to find competitive journals or gaps to propose new journals.

研究动机与目标

• 评估在大规模学术语料库上，词嵌入与 TFIDF 在建模科学文献内容方面的有效性。
• 评估词嵌入与 TFIDF 在不同文本长度（标题与摘要）下的性能差异。
• 开发并应用一个基准，用于在科学语境下通过期刊分类评估内容模型。
• 通过学习到的嵌入可视化期刊关系，以揭示学术出版中的结构模式。
• 确定在在线应用中，嵌入与 TFIDF 表示之间的计算效率权衡。

提出的方法

• 在来自 Scopus 数据库的约 7000 万篇科学论文的标题和摘要上训练了 skip-gram word2vec 模型。
• 使用不同词汇量（5K、10K）和哈希桶数量（5K、10K）的 TFIDF，生成替代表示。
• 通过在平均前将 TFIDF 分数作为词级别权重，将 TFIDF 加权与词嵌入结合。
• 使用期刊分类基准评估模型：根据内容表示与每篇论文的相似性对期刊进行排序。
• 使用 t-SNE 将期刊嵌入可视化为二维图像，以检查期刊之间的语义关系。
• 通过中位数排名、绝对命中率以及计算成本（内存与时间）来衡量性能。

实验结果

研究问题

• RQ1 词嵌入是否在建模科学文献内容方面优于 TFIDF？这种表现是否依赖于文本长度（标题与摘要）？
• RQ2 在在线应用中，TFIDF 与词嵌入模型的计算成本（内存与时间）如何比较？
• RQ3 学习到的词嵌入是否能有效捕捉与期刊相关的语义关系，这是否可通过二维可视化中的聚类得到证实？
• RQ4 将 TFIDF 加权与词嵌入结合是否能显著提升在期刊分类任务上的性能？
• RQ5 是否存在一个临界文本长度，使得 TFIDF 的性能超越词嵌入？

主要发现

• 在标题上，词嵌入表现优于 TFIDF，中位数排名为 35；而在摘要上，TFIDF 的中位数排名更低，为 14。
• TFIDF 在摘要上取得更好准确率，但其内存占用是词嵌入的 3.7 倍，计算时间最长达 184 倍。
• 将 TFIDF 加权与词嵌入结合仅带来适度改进，但在所用数据集上未达到统计显著性。
• 期刊嵌入的二维可视化揭示了相似期刊的有意义聚类，表明语义关系得以保留。
• 在所有指标上，模型间的性能差距保持一致：中位数排名、平均排名和绝对命中率，且无任何指标显示 TFIDF 在标题上优于词嵌入。
• 未观察到使用段落向量或 LDE 等高级模型带来显著改进，可能由于目标类别数量庞大（3700 个期刊）以及期刊类别的重叠。