[论文解读] Chemical-protein relation extraction with ensembles of SVM, CNN, and RNN models

Yifan Peng, Anthony Rios+2 more|arXiv (Cornell University)|Feb 5, 2018

Biomedical Text Mining and Ontologies参考文献 15被引用 23

一句话总结

本论文提出了一种集成模型，结合SVM、CNN和RNN架构，用于从生物医学文本中提取化学物质-蛋白质关系。通过多数投票和堆叠策略，该系统在BioCreative VI CHEMPROT挑战赛中取得了0.6410的F1得分，优于其他参赛作品，证明了混合深度学习与传统机器学习方法在生物医学关系抽取中的有效性。

ABSTRACT

Text mining the relations between chemicals and proteins is an increasingly important task. The CHEMPROT track at BioCreative VI aims to promote the development and evaluation of systems that can automatically detect the chemical-protein relations in running text (PubMed abstracts). This manuscript describes our submission, which is an ensemble of three systems, including a Support Vector Machine, a Convolutional Neural Network, and a Recurrent Neural Network. Their output is combined using a decision based on majority voting or stacking. Our CHEMPROT system obtained 0.7266 in precision and 0.5735 in recall for an f-score of 0.6410, demonstrating the effectiveness of machine learning-based approaches for automatic relation extraction from biomedical literature. Our submission achieved the highest performance in the task during the 2017 challenge.

研究动机与目标

• 提升从PubMed摘要中自动提取化学物质-蛋白质相互作用的能力。
• 解决从非结构化生物医学文本中识别复杂生物关系的挑战。
• 开发一种能够处理科学文献中化学物质-蛋白质相互作用细微差别的稳健关系抽取系统。
• 评估混合机器学习模型在真实世界生物医学NLP基准中的性能。
• 在BioCreative VI CHEMPROT赛道中实现最先进水平的结果。

提出的方法

• 该系统采用三种不同模型的集成：支持向量机（SVM）、卷积神经网络（CNN）和循环神经网络（RNN）。
• 每个模型均在标注的PubMed摘要上进行训练，以分类化学物质与蛋白质之间的关系。
• 通过两种融合策略结合模型输出：多数投票和使用元学习器的堆叠。
• 特征工程包括从文本中提取的句法和语义表示，如依存句法分析和词嵌入。
• 集成模型利用了各模型的优势——SVM用于高层次模式识别，CNN用于局部特征提取，RNN用于文本的序列建模。
• 最终预测通过聚合各模型输出生成，以提高鲁棒性和泛化能力。

实验结果

研究问题

• RQ1 与单一模型相比，多样化机器学习模型的集成是否能提升化学物质-蛋白质关系抽取的性能？
• RQ2 在混合框架中，传统机器学习（SVM）与深度神经网络（CNN、RNN）结合时，在生物医学关系抽取中的有效性如何？
• RQ3 在融合异构模型预测结果时，堆叠与多数投票哪种策略表现更优？
• RQ4 该集成方法在多大程度上能超越BioCreative VI CHEMPROT挑战赛中的现有系统？
• RQ5 各组件模型对集成系统整体性能的贡献程度如何？

主要发现

• 该集成系统在BioCreative VI CHEMPROT测试集上取得了0.6410的F1得分，优于挑战赛中所有其他参赛作品。
• 系统记录了0.7266的精确率和0.5735的召回率，表明精确率与覆盖范围之间具有良好的平衡。
• 堆叠和多数投票均优于单一模型，其中堆叠策略展现出略优的泛化能力。
• CNN模型在捕捉关系相关短语中的局部句法模式方面贡献显著。
• RNN模型有效建模了较长生物医学句子中的长距离依赖关系。
• SVM组件提供了稳定的基线性能，尤其在处理罕见关系类型时表现突出。