[论文解读] Lessons from Natural Language Inference in the Clinical Domain

Alexey Romanov, Chaitanya Shivade|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 41被引用 18

一句话总结

本文介绍了 MedNLI，这是首个公开可用的、由专家标注的临床领域自然语言蕴含（NLI）数据集，源自 MIMIC-III 电子健康记录语料库。研究结果表明，从开放域 NLI 数据集（如 SNLI）进行迁移学习，并通过词嵌入和知识库整合领域特定知识，能显著提升临床 NLI 任务中模型的性能。

ABSTRACT

State of the art models using deep neural networks have become very good in learning an accurate mapping from inputs to outputs. However, they still lack generalization capabilities in conditions that differ from the ones encountered during training. This is even more challenging in specialized, and knowledge intensive domains, where training data is limited. To address this gap, we introduce MedNLI - a dataset annotated by doctors, performing a natural language inference task (NLI), grounded in the medical history of patients. We present strategies to: 1) leverage transfer learning using datasets from the open domain, (e.g. SNLI) and 2) incorporate domain knowledge from external data and lexical sources (e.g. medical terminologies). Our results demonstrate performance gains using both strategies.

研究动机与目标

• 为解决临床领域缺乏大规模、专家标注的 NLI 数据集的问题，该问题阻碍了数据密集型模型的训练。
• 评估从开放域 NLI 模型（如 SNLI）进行迁移学习在临床文本上的有效性。
• 研究通过词汇资源和知识库整合医学领域知识至神经网络 NLI 模型的方法。
• 建立临床 NLI 的基准，以促进未来在医学 NLP 和临床决策支持领域的研究。

提出的方法

• 通过从 MIMIC-III 数据库中去标识化的临床记录的既往病史部分收集前提句，构建了 MedNLI 数据集。
• 通过领域专家（医生）收集假设句，并将每个前提-假设对标注为三种 NLI 标签之一：蕴含、矛盾或中性。
• 使用迁移学习在 MedNLI 上微调最先进的开放域 NLI 模型（如 BERT、RoBERTa）。
• 通过引入领域特定的词嵌入（如来自 UMLS 的）和知识引导的注意力机制，增强模型以整合医学术语。
• 评估了语言学特征（如否定、指代）并针对医学概念的语义类型进行了错误分析。
• 使用前提无关分类器检测标注中的伪影，确认其存在与 SNLI 和 MultiNLI 中类似的偏差。

实验结果

研究问题

• RQ1 从开放域 NLI 数据集（如 SNLI）进行迁移学习是否能有效提升临床 NLI 任务的性能？
• RQ2 在临床环境中，通过医学术语和知识库整合领域特定知识在多大程度上能提升 NLI 模型的性能？
• RQ3 与开放域 NLI 相比，否定、指代或时间表达等语言学特征在临床 NLI 中是否更具挑战性？
• RQ4 医学概念的语义类型（如疾病、发现、药物物质）是否与模型预测难度相关？
• RQ5 标注伪影（如标签偏差）在专家标注的临床 NLI 数据集中在多大程度上仍然存在？

主要发现

• MedNLI 在前提无关分类器上的测试 F1 得分为 61.9，表明存在与 SNLI 和 MultiNLI 中类似的标注伪影。
• 在 MedNLI 上微调最先进的开放域 NLI 模型可获得优异性能，为未来临床 NLP 研究建立了稳健基线。
• 整合来自医学术语（如 UMLS）的领域特定词嵌入可显著提升 NLI 模型的性能。
• 知识引导的注意力机制以及外部医学知识库的整合改善了模型的推理能力，但错误分析未揭示出一致的定性模式。
• 否定是最具影响力的语言学特征，所有三种模型在高达 75% 的情况下正确理解了否定，而其他特征则表现出稀疏且非区分性的模式。
• 未发现模型错误与特定医学概念语义类型之间存在显著相关性，表明模型失败并非系统性地与概念类别相关。