[论文解读] Advancing PICO Element Detection in Biomedical Text via Deep Neural Networks

Di Jin, Peter Szolovits|arXiv (Cornell University)|Oct 30, 2018

Topic Modeling参考文献 28被引用 4

一句话总结

该论文提出了一种深度学习模型，通过在句子表示之上堆叠第二层双向LSTM以捕捉跨句上下文信息，从而提升生物医学文本中的PICO元素检测性能，并通过对抗性训练和无监督预训练提升模型泛化能力。该模型实现了最先进性能，在PubMed-PICO数据集上，P、I和O元素的F1分数分别提升了5.5%、7.9%和5.8%；在NICTA-PIBOSO数据集上，分别提升了2.4%、13.6%和1.0%。

ABSTRACT

In evidence-based medicine (EBM), defining a clinical question in terms of the specific patient problem aids the physicians to efficiently identify appropriate resources and search for the best available evidence for medical treatment. In order to formulate a well-defined, focused clinical question, a framework called PICO is widely used, which identifies the sentences in a given medical text that belong to the four components typically reported in clinical trials: Participants/Problem (P), Intervention (I), Comparison (C) and Outcome (O). In this work, we propose a novel deep learning model for recognizing PICO elements in biomedical abstracts. Based on the previous state-of-the-art bidirectional long-short term memory (biLSTM) plus conditional random field (CRF) architecture, we add another layer of biLSTM upon the sentence representation vectors so that the contextual information from surrounding sentences can be gathered to help infer the interpretation of the current one. In addition, we propose two methods to further generalize and improve the model: adversarial training and unsupervised pre-training over large corpora. We tested our proposed approach over two benchmark datasets. One is the PubMed-PICO dataset, where our best results outperform the previous best by 5.5%, 7.9%, and 5.8% for P, I, and O elements in terms of F1 score, respectively. And for the other dataset named NICTA-PIBOSO, the improvements for P/I/O elements are 2.4%, 13.6%, and 1.0% in F1 score, respectively. Overall, our proposed deep learning model can obtain unprecedented PICO element detection accuracy while avoiding the need for any manual feature selection.

研究动机与目标

• 提升生物医学文摘中PICO元素检测的准确性，这对循证医学和临床决策支持至关重要。
• 解决先前模型依赖手工特征且未能充分利用周围句子上下文信息的局限性。
• 通过对抗性训练和无监督预训练增强模型泛化能力，减少在低资源设置下的过拟合。
• 在无需人工特征工程的情况下实现最先进性能，利用深度神经网络实现端到端学习。

提出的方法

• 在bi-LSTM+CRF模型生成的句子级表示之上堆叠第二层双向LSTM，以捕捉相邻句子的上下文信息。
• 采用对抗性训练和虚拟对抗性训练对模型进行正则化，提升对输入扰动的鲁棒性。
• 在目标PICO数据集上微调之前，先在大规模生物医学语料上进行无监督预训练，以增强特征学习能力。
• 采用bi-LSTM+CRF架构，其中bi-LSTM用于编码句子表示，CRF用于优化标签序列预测。
• 同时使用RNN和基于Transformer的句子编码器，并通过消融研究比较其有效性。
• 将上下文相关的句子表示整合到CRF层中，以确保标签序列的全局一致性。

实验结果

研究问题

• RQ1 在句子表示之上堆叠额外的双向LSTM层，通过捕捉句间上下文信息，能否提升PICO元素检测性能？
• RQ2 对抗性训练是否能在低资源PICO标注场景中显著提升模型泛化能力和鲁棒性？
• RQ3 在大规模生物医学语料上进行无监督预训练，能在多大程度上提升下游PICO检测性能？
• RQ4 在多个基准数据集上，该模型与最先进模型相比，F1分数表现如何？

主要发现

• 与先前最先进模型相比，该模型在PubMed-PICO数据集上实现了PICO元素F1分数5.5%的绝对提升。
• 在PubMed-PICO数据集上，该模型对干预（I）元素的F1分数提升了7.9%，对结局（O）元素提升了5.8%。
• 在NICTA-PIBOSO数据集上，该模型对干预（I）元素的F1分数提升了13.6%，为所有元素中最大提升。
• 通过端到端学习深度神经网络中的上下文表示，显著降低了对人工特征工程的依赖。
• 对抗性训练和无监督预训练对性能提升贡献显著，尤其在数据量较少的场景下。
• 混淆矩阵显示，主要错误来源为标签模糊性和CRF引起的标签转移，其中“方法”和“其他”标签常被混淆。