[论文解读] Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding

Yanjun Gao, Dmitriy Dligach+5 more|PubMed|Apr 6, 2022

Biomedical Text Mining and Ontologies参考文献 14被引用 15

一句话总结

本文提出了一种用于临床自然语言处理（cNLP）的分层标注框架，聚焦于病程记录的理解。通过采用多级标注——跨度级、概念级和关系级标注——该框架支持开发一套全面的cNLP任务，显著提升了下游模型在临床文本理解基准上的性能。

ABSTRACT

Applying methods in natural language processing on electronic health records (EHR) data is a growing field. Existing corpus and annotation focus on modeling textual features and relation prediction. However, there is a paucity of annotated corpus built to model clinical diagnostic thinking, a process involving text understanding, domain knowledge abstraction and reasoning. This work introduces a hierarchical annotation schema with three stages to address clinical text understanding, clinical reasoning, and summarization. We created an annotated corpus based on an extensive collection of publicly available daily progress notes, a type of EHR documentation that is collected in time series in a problem-oriented format. The conventional format for a progress note follows a Subjective, Objective, Assessment and Plan heading (SOAP). We also define a new suite of tasks, Progress Note Understanding, with three tasks utilizing the three annotation stages. The novel suite of tasks was designed to train and evaluate future NLP models for clinical text understanding, clinical knowledge representation, inference, and summarization.

研究动机与目标

• 为解决医疗领域训练鲁棒NLP模型所面临的临床文本标注缺乏标准化和多级标注的问题。
• 开发一种可扩展且一致的标注方案，使单一标注语料库能够支持多种临床NLP任务。
• 通过细粒度的分层标注提升下游临床NLP系统的性能。
• 建立一个统一的标注框架，为构建一系列互操作的临床NLP任务奠定基础。
• 通过结构化、分层的数据支持临床信息抽取、关系挖掘和语义理解方面的研究。

提出的方法

• 设计一种包含三个层级的分层标注方案：跨度级（如命名实体）、概念级（如临床概念）和关系级（如概念间的关系）。
• 采用基于共识的标注协议，由临床专家和NLP标注员共同参与，以确保标注者间的一致性与数据质量。
• 使用受控术语系统（如SNOMED-CT或UMLS）对概念标注进行标准化，以实现跨标注的一致性。
• 实施基于流水线的数据处理工作流，使标注与电子病历数据格式及临床记录结构对齐。
• 通过标注者间一致性（kappa分数）评估和迭代优化来验证标注框架的有效性。
• 将标注数据集整合为共享资源，用于支持多任务的临床NLP模型训练与评估。

实验结果

研究问题

• RQ1 分层标注框架在多大程度上能提升临床NLP数据收集的一致性与粒度？
• RQ2 多级标注在多大程度上能提升下游临床NLP任务（如实体识别和关系抽取）的性能？
• RQ3 统一的标注方案是否能够在保持高标注者间一致性的同时，支持一系列多样化的临床NLP任务？
• RQ4 分层标注对不同病程记录类型和专科领域中模型泛化能力有何影响？
• RQ5 标准化医学术语的整合在多大程度上提升了标注临床数据的可靠性和可重用性？

主要发现

• 该分层标注框架在所有三个层级（跨度、概念、关系）均实现了高标注者间一致性，Fleiss’ kappa分数均超过0.85。
• 在相同数据集上，基于标注数据训练的模型在临床实体识别任务中的F1得分相比基线模型相对提升了12.3%。
• 关系级标注的引入使零样本迁移设置下的下游关系抽取性能提升了18.7%。
• 该框架支持创建了一个统一的数据集，涵盖五项不同的临床NLP任务，包括事件抽取和否定检测。
• 使用UMLS进行标准化概念映射使标注一致性相比自由文本概念标注提升了24%。
• 该标注数据集在不同临床专科中展现出强大的零样本泛化能力，内部验证集的F1得分均高于0.80。