[论文解读] Concept Extraction to Identify Adverse Drug Reactions in Medical Forums: A Comparison of Algorithms

Alejandro Metke‐Jimenez, Sarvnaz Karimi|arXiv (Cornell University)|Apr 27, 2015

Biomedical Text Mining and Ontologies参考文献 38被引用 19

一句话总结

本研究评估了多种概念抽取方法——从基于词典的方法到一种新颖的基于CRF的机器学习模型——以识别患者生成的医疗论坛文本中的不良药物反应（ADRs）和药物。所提出的CRF方法结合Ontoserver归一化，在低资源环境下显著优于MetaMap及其他技术，展示了在Cadec语料库上更高的精确率和F1分数。

ABSTRACT

Social media is becoming an increasingly important source of information to complement traditional pharmacovigilance methods. In order to identify signals of potential adverse drug reactions, it is necessary to first identify medical concepts in the social media text. Most of the existing studies use dictionary-based methods which are not evaluated independently from the overall signal detection task. We compare different approaches to automatically identify and normalise medical concepts in consumer reviews in medical forums. Specifically, we implement several dictionary-based methods popular in the relevant literature, as well as a method we suggest based on a state-of-the-art machine learning method for entity recognition. MetaMap, a popular biomedical concept extraction tool, is used as a baseline. Our evaluations were performed in a controlled setting on a common corpus which is a collection of medical forum posts annotated with concepts and linked to controlled vocabularies such as MedDRA and SNOMED CT. To our knowledge, our study is the first to systematically examine the effect of popular concept extraction methods in the area of signal detection for adverse reactions. We show that the choice of algorithm or controlled vocabulary has a significant impact on concept extraction, which will impact the overall signal detection process. We also show that our proposed machine learning approach significantly outperforms all the other methods in identification of both adverse reactions and drugs, even when trained with a relatively small set of annotated text.

研究动机与目标

• 系统评估并比较社交媒体文本中不良药物反应（ADR）检测的概念抽取方法。
• 评估算法选择以及受控词表（如MedDRA、SNOMED CT、CHV）对ADR信号检测性能的影响。
• 在受控的金标准环境中，评估一种新型基于CRF的机器学习方法相较于传统词典法和MetaMap方法的有效性。
• 利用Cadec语料库为未来在患者论坛中进行ADR挖掘的研究提供基准。

提出的方法

• 本研究实施并比较了多种概念抽取技术：使用UMLS、AMT和CHV的词典法；MetaMap；以及在小规模标注数据集上训练的基于CRF的模型。
• 使用Ontoserver、UMLS、AMT和CHV进行概念归一化，结果与Cadec语料库的金标准标注进行评估。
• 采用多层次评估框架，包括严格跨度匹配、宽松匹配（基于重叠）以及考虑语义距离的归一化评估。
• 应用统计显著性检验以评估不同方法之间的性能差异，尤其关注F1、精确率和召回率。
• CRF模型利用文本片段及其上下文特征，归一化决策受本体结构的指导。
• 评估指标包括精确跨度匹配、部分重叠（宽松匹配）以及语义相似性，以评估归一化准确性。

实验结果

研究问题

• RQ1 不同概念抽取算法在识别患者论坛文本中的不良药物反应和药物时表现如何？
• RQ2 受控词表选择（如MedDRA、SNOMED CT、CHV）对概念抽取性能有何影响？
• RQ3 基于机器学习的方法（CRF）是否优于传统的词典法和MetaMap在ADR概念抽取中的表现？
• RQ4 不同的评估策略——严格、宽松和语义距离——如何改变对概念抽取系统性能的感知？

主要发现

• 采用Ontoserver归一化的基于CRF的模型在概念识别方面取得了最高的F1分数（0.867），显著优于MetaMap（F1 = 0.814）和所有基于词典的方法。
• CRF模型的精确率为0.988，召回率为0.773，表明即使在训练数据有限的情况下也表现出色。
• 使用CHV或UMLS的基于词典的方法表现极差，部分配置的F1分数为0.000，凸显了词典方法在嘈杂、非正式文本中的局限性。
• MetaMap整体表现不佳，所有任务的F1分数均为0.814，且由于大小写敏感性和拼写变体问题，未能识别出大量药物和ADR提及。
• 宽松匹配标准被认为过于宽松，因为单个词素的重叠即可构成匹配，表明需要采用基于阈值的重叠度量方法。
• 本研究表明，通过引入语义距离（例如本体中的父子关系），可提升概念归一化的性能，因为当前方法将所有不匹配均视为完全失败。