[论文解读] Feature Assisted bi-directional LSTM Model for Protein-Protein Interaction Identification from Biomedical Texts

Shweta Yadav, Ankit Kumar+3 more|arXiv (Cornell University)|Jul 5, 2018

Biomedical Text Mining and Ontologies参考文献 36被引用 7

一句话总结

该论文提出了一种sdpLSTM模型，通过结合双向LSTM与最短依赖路径（SDP）嵌入、词性（PoS）标签和位置嵌入，以提升生物医学文本中蛋白质-蛋白质相互作用（PPI）的识别效果。该模型通过利用句法结构和深度上下文学习，在AiMed数据集上实现了86.45%的F1分数，在BioInfer数据集上实现了77.35%的F1分数，达到当前最先进水平。

ABSTRACT

Knowledge about protein-protein interactions is essential in understanding the biological processes such as metabolic pathways, DNA replication, and transcription etc. However, a majority of the existing Protein-Protein Interaction (PPI) systems are dependent primarily on the scientific literature, which is yet not accessible as a structured database. Thus, efficient information extraction systems are required for identifying PPI information from the large collection of biomedical texts. Most of the existing systems model the PPI extraction task as a classification problem and are tailored to the handcrafted feature set including domain dependent features. In this paper, we present a novel method based on deep bidirectional long short-term memory (B-LSTM) technique that exploits word sequences and dependency path related information to identify PPI information from text. This model leverages joint modeling of proteins and relations in a single unified framework, which we name as Shortest Dependency Path B-LSTM (sdpLSTM) model. We perform experiments on two popular benchmark PPI datasets, namely AiMed & BioInfer. The evaluation shows the F1-score values of 86.45% and 77.35% on AiMed and BioInfer, respectively. Comparisons with the existing systems show that our proposed approach attains state-of-the-art performance.

研究动机与目标

• 解决由于科学文献数量呈指数级增长，导致从非结构化生物医学文献中提取蛋白质-蛋白质相互作用（PPI）所面临的挑战。
• 克服传统基于核的方法依赖手工设计、领域特定特征以及外部NLP工具的局限性。
• 通过在统一的深度学习框架中整合句法结构（通过最短依赖路径）和上下文嵌入，提升PPI识别效果。
• 在基准数据集（AiMed和BioInfer）上评估模型，以证明其在性能上优于现有最先进方法。

提出的方法

• 使用依存句法分析构建蛋白质对之间的最短依赖路径（SDPs），以捕捉句法关系。
• 使用预训练的生物医学词嵌入（如PubMed中的嵌入）表示SDP中的词语，以增强语义理解。
• 将词性（PoS）和位置嵌入作为额外特征整合，以丰富LSTM的输入表示。
• 将组合后的特征表示输入双向LSTM（Bi-LSTM）网络，以建模长距离依赖关系和上下文信息。
• 使用交叉熵损失函数端到端训练sdpLSTM模型，进行PPI对的二分类。
• 在后续工作中应用注意力机制和多层架构探索，以进一步提升性能。

实验结果

研究问题

• RQ1 最短依赖路径（SDP）嵌入是否能有效表示PPI抽取中蛋白质之间的句法关系？
• RQ2 PoS和位置嵌入在提升深度学习模型PPI识别性能方面有何贡献？
• RQ3 所提出的sdpLSTM模型是否在标准PPI基准数据集上优于现有最先进方法？
• RQ4 模型的主要失败模式是什么，特别是针对隐含或否定的PPI？
• RQ5 额外特征（如PoS和位置嵌入）在多大程度上提升了性能，且这种提升在不同训练轮次中如何变化？

主要发现

• sdpLSTM模型在AiMed数据集上达到86.45%的F1分数，在BioInfer数据集上达到77.35%的F1分数，优于先前的最先进方法。
• 与仅使用SDP的基线Bi-LSTM相比，SDP、PoS和位置嵌入的组合在BioInfer数据集上带来1.49个百分点的F1分数提升，在AiMed数据集上带来0.07个百分点的F1分数提升。
• 当训练轮次较少时，添加特征可带来1%–2%的性能增益，但随着训练轮次增加，该优势逐渐减弱，表明特征在长时间训练后出现冗余。
• 错误分析显示，依存句法分析器的失败以及否定语境中的相互作用动词（如“inhibited”）是导致误分类的主要原因。
• 该模型在未由显式相互作用动词标记的隐含PPI上表现不佳——在BioInfer数据集中有57个假阴性，在AiMed数据集中有29个假阴性归因于该问题。
• 与通用内部嵌入相比，生物医学词嵌入显著增强了语义表示，从而提升了在复杂生物医学文本上的性能。