[论文解读] NUBES: A Corpus of Negation and Uncertainty in Spanish Clinical Texts

Salvador Lima, Naiara Pérez+2 more|arXiv (Cornell University)|Apr 2, 2020

Natural Language Processing Techniques参考文献 23被引用 10

一句话总结

NUBes 是一个大规模、公开可用的西班牙语临床文本语料库，针对否定和不确定性进行了标注，包含 29,682 个句子，对提示词、作用范围、事件和极性进行了详细标注。它是首个系统性地包含推测标注的西班牙语语料库，并通过深度学习实验得到验证，为生物医学西班牙语自然语言处理树立了新基准。

ABSTRACT

This paper introduces the first version of the NUBes corpus (Negation and Uncertainty annotations in Biomedical texts in Spanish). The corpus is part of an on-going research and currently consists of 29,682 sentences obtained from anonymised health records annotated with negation and uncertainty. The article includes an exhaustive comparison with similar corpora in Spanish, and presents the main annotation and design decisions. Additionally, we perform preliminary experiments using deep learning algorithms to validate the annotated dataset. As far as we know, NUBes is the largest publicly available corpus for negation in Spanish and the first that also incorporates the annotation of speculation cues, scopes, and events.

研究动机与目标

• 解决西班牙语临床文本中否定和不确定性缺乏全面、公开可用语料库的问题。
• 为生物医学西班牙语中的否定和推测开发标准化的标注框架，包括提示词、作用范围、事件和极性修饰符。
• 创建一个大规模、高质量的数据集，支持临床自然语言处理中的深度学习和序列标注任务。
• 通过使用神经序列标注模型的初步实验验证该语料库。
• 为未来在事实性、不确定性及西班牙语临床推理方面的研究奠定基础。

提出的方法

• 使用详细的多级标注方案，对来自医疗记录的 29,682 个匿名临床句子进行否定和不确定性元素的标注。
• 定义并标注四个核心组成部分：否定/不确定性提示词、其语义作用范围、目标事件和极性修饰符。
• 在多名标注员之间保持一致的标注指南，并在存在歧义的案例中咨询医学专家。
• 在 IULA-SCRC 语料库基础上扩展为 IULA+，通过相同指南添加不确定性标注。
• 在 NUBes 语料库上训练并评估深度学习模型（如 CRF、基于 BERT 的序列标注），以建立基线性能。
• 通过 GitHub 公开发布语料库、标注指南和代码，以支持可复现性和社区使用。

实验结果

研究问题

• RQ1 如何在西班牙语临床文本中以高粒度和一致性的方式系统性标注否定和不确定性？
• RQ2 与现有西班牙语否定和推测语料库相比，NUBes 的相对规模和覆盖范围如何？
• RQ3 深度学习模型在使用 NUBes 语料库进行序列标注任务时，能达到多高的可靠性能？
• RQ4 标注指南如何处理像 'sin clara' 或 'dar la impresión de' 这类模糊或依赖语境的表达？
• RQ5 在临床语言中区分否定与不确定性时会遇到哪些挑战，又该如何解决？

主要发现

• NUBes 是目前公开可用的西班牙语临床文本否定语料库中规模最大的，包含 29,682 个标注句子。
• 该语料库首次系统性地标注了西班牙语生物医学文本中的推测提示词、作用范围和事件。
• NUBes 中 25.49% 的句子包含否定，7.48% 的句子包含不确定性，表明其具有显著的语言复杂性。
• 初步的深度学习实验表明，该语料库支持在序列标注任务中实现具有竞争力的基线性能。
• 标注过程成功处理了如 'sin clara'（视为单一不确定性提示词）和 'dar la impresión de'（识别为推测标记）等模糊案例。
• 语料库和标注指南已公开发布，支持可复现性，并为研究社区未来扩展提供基础。