[论文解读] Identifying Condition-Action Statements in Medical Guidelines Using Domain-Independent Features

Hossein Hematialam, Wlodek Zadrozny|arXiv (Cornell University)|Jun 13, 2017

Biomedical Text Mining and Ontologies参考文献 7被引用 6

一句话总结

本文提出一种基于监督学习的方法，利用领域无关的特征（如词性标注）从医学指南中识别条件-动作语句，而无需依赖人工设计的规则。研究构建了三个新的标注临床指南数据集（高血压、哮喘、鼻窦炎），并建立了基线性能，随机森林在高血压数据集上的F1值达到0.587，在鼻窦炎数据集上达到0.535，证明了自动化提取的可行性，尽管其召回率低于基于规则的方法。

ABSTRACT

This paper advances the state of the art in text understanding of medical guidelines by releasing two new annotated clinical guidelines datasets, and establishing baselines for using machine learning to extract condition-action pairs. In contrast to prior work that relies on manually created rules, we report experiment with several supervised machine learning techniques to classify sentences as to whether they express conditions and actions. We show the limitations and possible extensions of this work on text mining of medical guidelines.

研究动机与目标

• 开发一种基于机器学习的方法，从临床指南中提取条件-动作语句，而无需依赖人工创建的语言学规则。
• 创建并发布三个高质量的、基于真实世界医学指南的新标注数据集（高血压、哮喘、鼻窦炎），以供研究使用。
• 基于领域无关的特征（如词性标注）使用监督分类器，建立自动化条件-动作提取的基线性能。
• 将所提方法的性能与现有基于规则的方法进行比较，突出其局限性与改进空间。
• 探索未来通过引入语义和话语信息来提升模型性能，以缩小与基于规则系统之间的差距。

提出的方法

• 将临床指南句子标注为三类：条件-动作（CA）、条件-结果（CC）和无条件（NC），并经专家验证。
• 以词性标注（POS）作为主要特征集训练监督分类器，避免使用领域特定的语言学规则。
• 在分类前使用基于正则表达式的候选提取方法识别潜在的条件-动作结构。
• 在标注数据集上使用10折交叉验证训练并评估多种分类器（ZeroR、朴素贝叶斯、J48、随机森林）。
• 使用Weka进行模型训练与评估，重点关注精确率、召回率和F1值作为性能指标。
• 通过Dropbox发布标注数据集，以支持可复现性与未来研究。

实验结果

研究问题

• RQ1 基于领域无关的监督学习模型能否有效将医学指南中的句子分类为条件-动作、条件-结果或无条件？
• RQ2 基于自动特征的分类性能与先前基于规则的方法在条件-动作提取中的表现相比如何？
• RQ3 仅依靠词性标注在多大程度上能够准确识别临床指南中的条件-动作语句？
• RQ4 机器学习模型在新标注的真实世界临床指南语料上的基线性能如何？
• RQ5 如何通过引入语义和话语特征来提升当前模型的性能，以缩小与基于规则系统之间的差距？

主要发现

• 随机森林分类器在高血压数据集上取得了最高的F1值0.587，优于其他分类器。
• 在鼻窦炎数据集上，随机森林模型的F1值达到0.535，表明性能中等但具有前景。
• 朴素贝叶斯和J48分类器的F1值较低，其在高血压数据集上的最佳F1值为0.495。
• 所提方法的性能低于Wenzina和Kaiser（2013）提出的基于规则的方法，后者在相同哮喘数据集上报告了88%的精确率和75%的召回率。
• 当应用于作者自建的哮喘语料时，基于规则的方法仅达到39%的召回率，凸显了数据集构建与标注差异的影响。
• 本研究为基于纯监督、基于特征的学习方法的自动化条件-动作提取建立了新的基线，并公开发布数据集以支持未来研究。