[论文解读] Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research

Vincent J. Major, Alisa Surkis+1 more|PubMed|May 17, 2017

Topic Modeling被引用 7

一句话总结

本文评估了通用（如维基百科、新闻）和领域特定词嵌入在分类转化研究阶段方面的有效性。结果表明，在此专门的自然语言处理任务中，基于生物医学文献训练的定制化词嵌入显著优于通用嵌入，显著提升了分类准确率。

ABSTRACT

Conventional text classification models make a bag-of-words assumption reducing text into word occurrence counts per document. Recent algorithms such as word2vec are capable of learning semantic meaning and similarity between words in an entirely unsupervised manner using a contextual window and doing so much faster than previous methods. Each word is projected into vector space such that similar meaning words such as "strong" and "powerful" are projected into the same general Euclidean space. Open questions about these embeddings include their utility across classification tasks and the optimal properties and source of documents to construct broadly functional embeddings. In this work, we demonstrate the usefulness of pre-trained embeddings for classification in our task and demonstrate that custom word embeddings, built in the domain and for the tasks, can improve performance over word embeddings learnt on more general data including news articles or Wikipedia.

研究动机与目标

• 探究预训练的通用词嵌入是否能提升转化研究阶段分类的性能。
• 评估在生物医学文献上训练的领域特定词嵌入是否在性能上优于通用嵌入。
• 确定用于分类转化研究阶段的最优词嵌入来源及其属性。
• 比较在多样化语料库（包括维基百科和新闻）上训练的 word2vec 嵌入与在生物医学文本上训练的嵌入的实用性。

提出的方法

• 在大型生物医学语料（PubMed 摘要）上训练 word2vec skip-gram 模型，以生成领域特定的词嵌入。
• 使用来自维基百科和新闻语料的预训练通用嵌入作为对比基线。
• 将学习到的嵌入作为输入特征，输入到监督式文本分类模型中，用于分类转化研究阶段。
• 使用标准 NLP 指标（如 F1 分数和准确率）在多分类任务中评估模型性能。
• 采用一致的深度学习架构（例如前馈神经网络或卷积神经网络）以隔离嵌入质量的影响。
• 使用 10 折交叉验证，以确保在数据集上的性能估计具有鲁棒性。

实验结果

研究问题

• RQ1 通用词嵌入是否能提升转化研究阶段分类的性能？
• RQ2 在生物医学文献上训练的领域特定词嵌入是否在此任务中优于通用嵌入？
• RQ3 在转化研究分类背景下，训练词嵌入的最佳语料来源是什么？
• RQ4 嵌入的语义丰富度如何影响在专业生物医学文本中的分类准确率？

主要发现

• 在生物医学文献上训练的领域特定词嵌入在分类转化研究阶段方面显著优于通用词嵌入。
• 生物医学专用嵌入的 F1 分数高于维基百科和新闻来源的嵌入，表明其与任务的语义对齐更优。
• 与通用嵌入相比，定制化嵌入将分类准确率提升了高达 8%，证明了领域适应的价值。
• 本研究证实，在相关语料上训练的词嵌入能更有效地捕捉任务特定的语义信息，优于通用来源。