[论文解读] Assessment of contextualised representations in detecting outcome phrases in clinical trials

Micheal Abaho, Danushka Bollegala+2 more|arXiv (Cornell University)|Feb 13, 2022

Topic Modeling被引用 7

一句话总结

本文提出了 EBM-COMET，一个包含 300 个随机对照试验（RCT）摘要的专家标注数据集，其中使用临床标准化结果短语进行标注，并评估了上下文表示方法（尤其是微调后的 BioBERT）在检测完整结果短语方面的表现。最佳模型在 F1 分数上达到 81.5%，优于 EBM-NLP 上的先前最先进（SOTA）方法，证明了微调后的领域特定模型在严格完整短语检测任务中的优越性。

ABSTRACT

Automating the recognition of outcomes reported in clinical trials using machine learning has a huge potential of speeding up access to evidence necessary in healthcare decision-making. Prior research has however acknowledged inadequate training corpora as a challenge for the Outcome detection (OD) task. Additionally, several contextualized representations like BERT and ELMO have achieved unparalleled success in detecting various diseases, genes, proteins, and chemicals, however, the same cannot be emphatically stated for outcomes, because these models have been relatively under-tested and studied for the OD task. We introduce "EBM-COMET", a dataset in which 300 PubMed abstracts are expertly annotated for clinical outcomes. Unlike prior related datasets that use arbitrary outcome classifications, we use labels from a taxonomy recently published to standardize outcome classifications. To extract outcomes, we fine-tune a variety of pre-trained contextualized representations, additionally, we use frozen contextualized and context-independent representations in our custom neural model augmented with clinically informed Part-Of-Speech embeddings and a cost-sensitive loss function. We adopt strict evaluation for the trained models by rewarding them for correctly identifying full outcome phrases rather than words within the entities i.e. given an outcome "systolic blood pressure", the models are rewarded a classification score only when they predict all 3 words in sequence, otherwise, they are not rewarded. We observe our best model (BioBERT) achieve 81.5\% F1, 81.3\% sensitivity and 98.0\% specificity. We reach a consensus on which contextualized representations are best suited for detecting outcomes from clinical-trial abstracts. Furthermore, our best model outperforms scores published on the original EBM-NLP dataset leader-board scores.

研究动机与目标

• 解决临床试验结果检测领域缺乏高质量、标准化结果标注语料库的问题。
• 评估上下文表示方法（如 BioBERT、SciBERT）在检测完整结果短语而非单个词语方面的性能。
• 通过严格的评估协议（仅奖励完整、连续的短语预测）建立完整短语结果检测的基准。
• 在临床结果检测背景下，比较微调后的上下文模型与特征提取和上下文无关方法的性能。
• 提高自动化结果提取的准确性和可靠性，以支持循证医学和系统综述工作流程。

提出的方法

• 使用标准化分类法对 300 个 RCT 摘要进行结果短语标注，构建 EBM-COMET 数据集。
• 在 EBM-COMET 数据集上对领域特定的上下文表示语言模型（BioBERT、SciBERT、ClinicalBERT）进行微调，以实现结果短语检测。
• 使用一种结合临床启发的词性标注嵌入和代价敏感损失函数的自定义神经网络模型，以提升检测性能。
• 采用严格的完整短语检测评估协议，仅对完整、连续的结果短语进行奖励，不奖励部分或碎片化预测。
• 在不同上下文表示方法（上下文相关与上下文无关）和训练策略（微调与特征提取）之间进行性能比较。
• 对结果短语长度进行消融研究，并进行错误分析，以识别失败模式，特别是针对长句或模糊短语。

实验结果

研究问题

• RQ1 哪些上下文表示模型在检测临床试验摘要中的完整结果短语方面表现最佳？
• RQ2 与特征提取方法相比，微调上下文模型在结果短语检测性能上表现如何？
• RQ3 使用标准化结果分类法在多大程度上提升了结果标注的质量和一致性？
• RQ4 模型性能和错误模式如何随结果短语长度变化，特别是针对多词短语？
• RQ5 与传统的基于标记的评估相比，严格的完整短语评估是否揭示了模型性能的显著差异？

主要发现

• 微调后的 BioBERT 模型在 EBM-COMET 数据集上表现最佳，F1 分数达到 81.5%，灵敏度为 81.3%，特异性为 98.0%。
• 微调模型始终优于特征提取方法，且收敛更快，表明端到端适应结果检测任务具有显著优势。
• 该最佳模型在原始 EBM-NLP 排行榜上的表现显著优于现有 SOTA 方法，在 PIO 任务中的结果检测 F1 分数达到 73.1%。
• 当结果短语超过 6 个词时，性能急剧下降，两种模型在准确检测 7 个词及以上完整短语方面均表现不佳。
• 严格的完整短语评估揭示，模型常将部分短语误分类——例如在 'systolic blood pressure' 中遗漏 'of'——导致尽管标记级精确率较高，但 F1 分数为零。
• 错误分析显示，常见功能词（如 'of'）和重叠短语（如 'right heart size and function'）是误分类的常见原因。