[论文解读] Evaluation of YTEX and MetaMap for clinical concept recognition

John D. Osborne, Binod Gyawali+1 more|arXiv (Cornell University)|Feb 7, 2014

Biomedical Text Mining and Ontologies参考文献 7被引用 5

一句话总结

本研究在2013年ShARe/CLEF eHealth任务中评估了YTEX与MetaMap在临床概念识别中的表现，两套系统均以原样使用，并通过后处理提升精确率与召回率。在宽松任务中，YTEX的F-score高出4.6%，且UMLS CUI映射准确率高出1.3%；而在严格任务中，MetaMap因经过基于规则的优化后边界检测更优，表现出更高的精确率。

ABSTRACT

We used MetaMap and YTEX as a basis for the construc- tion of two separate systems to participate in the 2013 ShARe/CLEF eHealth Task 1[9], the recognition of clinical concepts. No modifications were directly made to these systems, but output concepts were filtered using stop concepts, stop concept text and UMLS semantic type. Con- cept boundaries were also adjusted using a small collection of rules to increase precision on the strict task. Overall MetaMap had better per- formance than YTEX on the strict task, primarily due to a 20% perfor- mance improvement in precision. In the relaxed task YTEX had better performance in both precision and recall giving it an overall F-Score 4.6% higher than MetaMap on the test data. Our results also indicated a 1.3% higher accuracy for YTEX in UMLS CUI mapping.

研究动机与目标

• 评估现成的临床概念识别工具YTEX与MetaMap在2013年ShARe/CLEF eHealth任务背景下的表现。
• 评估MetaMap基于启发式的方法与YTEX基于Lesk的语义相似度方法在临床文本中歧义消解的相对优劣。
• 通过后处理规则扩展概念边界并过滤低价值概念，提升概念识别性能。
• 分析标注指南与数据特征对系统评估结果的影响。
• 确定在真实世界环境中，哪套系统在临床信息抽取方面表现更优。

提出的方法

• YTEX 0.8与MetaMap 2012以原样使用，未对其核心算法进行任何直接修改。
• 采用UIMA框架处理两套系统的输出，应用相同的过滤与后处理步骤。
• 过滤停用概念（如'Disease'、'Injury'）与停用概念文本（如'mouse'、'mice'），以减少误报。
• 通过基于规则的后处理步骤扩展概念边界，包括前缀修饰词如'LA'、'abd'、'chronic'与'lower'。
• 仅保留符合所需UMLS语义类型的术语，结果在训练集与测试集上均进行评估。
• CUI映射使用2012AB版UMLS，两套系统均以默认参数运行。

实验结果

研究问题

• RQ1 在ShARe/CLEF eHealth任务的严格与宽松任务中，YTEX与MetaMap在精确率、召回率与F-score上的表现如何比较？
• RQ2 基于规则的边界扩展对概念识别性能有何影响，特别是对修饰词与缩写？
• RQ3 概念映射策略的选择（启发式方法 vs. 分布式相似度）如何影响临床文本中的准确率与召回率？
• RQ4 尽管内容相似，为何PTL数据集与ShARe/CLEF测试集之间存在性能差异？
• RQ5 在不修改底层模型的前提下，后处理规则能在多大程度上提升系统性能？

主要发现

• 在严格任务中，MetaMap的精确率提升20%（0.722 vs. YTEX的0.512），F-score达到0.562，高于YTEX的0.473。
• 在宽松任务中，YTEX表现优于MetaMap，F-score高出4.6%（0.924 vs. 0.878），主要因其对部分映射标注的处理更优。
• YTEX在UMLS CUI映射中的准确率高出1.3%（PTL数据中为55.72%），而MetaMap的精确率为80.28%，但召回率较低。
• PTL数据集表现显著劣于ShARe/CLEF测试集，主要因更严格的标注指南对YTEX的宽泛概念映射施加了惩罚。
• 缩写如'LA'、'abd'与'MCA'被持续误识别，而基于规则的边界扩展显著降低了此类错误。
• 尽管在严格任务中表现较差，YTEX在上下文中识别多义词（如'inability'与'call'）方面表现出更强能力，为其在宽松任务中的优势提供了支持。