[论文解读] Applying deep learning techniques on medical corpora from the World Wide Web: a prototypical system and evaluation

José Antonio Miñarro-Giménez, Oscar Marín-Alonso+1 more|arXiv (Cornell University)|Feb 12, 2015

Biomedical Text Mining and Ontologies参考文献 7被引用 16

一句话总结

本研究评估了word2vec在从非结构化网络医学文本中挖掘药物关系方面的表现，以NDF-RT本体论作为黄金标准。尽管向量学习效率较高，word2vec在识别如'可能治疗'或'具有生理效应'等关系时仅达到49.28%的准确率，表明其在自动知识库构建方面表现有限，尽管作为数据整理的起点仍具潜力。

ABSTRACT

BACKGROUND: The amount of biomedical literature is rapidly growing and it is becoming increasingly difficult to keep manually curated knowledge bases and ontologies up-to-date. In this study we applied the word2vec deep learning toolkit to medical corpora to test its potential for identifying relationships from unstructured text. We evaluated the efficiency of word2vec in identifying properties of pharmaceuticals based on mid-sized, unstructured medical text corpora available on the web. Properties included relationships to diseases ('may treat') or physiological processes ('has physiological effect'). We compared the relationships identified by word2vec with manually curated information from the National Drug File - Reference Terminology (NDF-RT) ontology as a gold standard. RESULTS: Our results revealed a maximum accuracy of 49.28% which suggests a limited ability of word2vec to capture linguistic regularities on the collected medical corpora compared with other published results. We were able to document the influence of different parameter settings on result accuracy and found and unexpected trade-off between ranking quality and accuracy. Pre-processing corpora to reduce syntactic variability proved to be a good strategy for increasing the utility of the trained vector models. CONCLUSIONS: Word2vec is a very efficient implementation for computing vector representations and for its ability to identify relationships in textual data without any prior domain knowledge. We found that the ranking and retrieved results generated by word2vec were not of sufficient quality for automatic population of knowledge bases and ontologies, but could serve as a starting point for further manual curation.

研究动机与目标

• 评估使用深度学习（特别是word2vec）从非结构化网络文本中提取生物医学关系的可行性。
• 评估word2vec在从中小型真实世界医学语料中识别药物-疾病关系及药物-生理效应关系方面的表现。
• 将word2vec生成的关系与NDF-RT本体论中的手工标注黄金标准数据进行对比。
• 研究预处理和超参数调优对模型准确率和排序质量的影响。
• 确定word2vec输出是否可作为自动化医学知识库整理的可行基础。

提出的方法

• 作者将word2vec模型应用于从万维网收集的非结构化医学文本语料。
• 通过学习到的嵌入空间中的向量相似性，识别诸如'可能治疗'和'具有生理效应'等关系。
• 通过将预测关系与NDF-RT本体论作为黄金标准进行对比，评估模型性能。
• 应用了包括归一化在内的预处理策略，以减少句法变异性，提升模型实用性。
• 系统性地调整向量大小、窗口大小和学习率等超参数，以评估其对准确率和排序质量的影响。
• 采用基于余弦相似度的方法检索相关药物-术语对，结果按顺序排列并评估精确率。

实验结果

研究问题

• RQ1 word2vec能否有效识别来自非结构化医学网络文本的药物-疾病关系及药物-生理效应关系？
• RQ2 在word2vec框架中，不同超参数设置下模型准确率如何变化？
• RQ3 句法预处理对学习到的向量表示质量及下游关系抽取的影响如何？
• RQ4 在基于word2vec的关系检索中，是否存在排序质量与准确率之间的权衡？
• RQ5 word2vec输出在多大程度上可支持医学知识库和本体论的自动构建？

主要发现

• word2vec在识别药物关系方面达到的最大准确率为49.28%，表明其在此任务中效果有限。
• 观察到排序质量与准确率之间存在显著权衡，即排名靠前的结果不一定是更准确的。
• 通过预处理语料以减少句法变异性，显著提升了训练后向量模型的实用性。
• 结果表明，仅靠word2vec不足以实现医学知识库的可靠自动整理。
• 尽管准确率较低，word2vec仍是无需先验领域知识即可高效生成向量表示的工具。
• 本研究证实，word2vec输出可作为后续人工整理工作的有用起点。