[论文解读] Learning to Infer Entities, Properties and their Relations from Clinical Conversations

Nan Du, Mingqiu Wang+3 more|arXiv (Cornell University)|Aug 30, 2019

Topic Modeling参考文献 41被引用 9

一句话总结

该论文提出了一种名为 Relation-SAT (R-SAT) 的新型多任务学习模型，可联合推断完整临床对话中的临床实体（症状、药物）、其属性以及实体间的关系。通过使用记忆缓冲区存储实体表征并实现长距离依赖建模，R-SAT 在性能上达到当前最先进水平，在症状-属性关系任务上比基线模型提升 32%（F1 0.82 vs. 0.62），在药物-属性关系任务上提升 50%（F1 0.60 vs. 0.41）。

ABSTRACT

Recently we proposed the Span Attribute Tagging (SAT) Model (Du et al., 2019) to infer clinical entities (e.g., symptoms) and their properties (e.g., duration). It tackles the challenge of large label space and limited training data using a hierarchical two-stage approach that identifies the span of interest in a tagging step and assigns labels to the span in a classification step. We extend the SAT model to jointly infer not only entities and their properties but also relations between them. Most relation extraction models restrict inferring relations between tokens within a few neighboring sentences, mainly to avoid high computational complexity. In contrast, our proposed Relation-SAT (R-SAT) model is computationally efficient and can infer relations over the entire conversation, spanning an average duration of 10 minutes. We evaluate our model on a corpus of clinical conversations. When the entities are given, the R-SAT outperforms baselines in identifying relations between symptoms and their properties by about 32% (0.82 vs 0.62 F-score) and by about 50% (0.60 vs 0.41 F-score) on medications and their properties. On the more difficult task of jointly inferring entities and relations, the R-SAT model achieves a performance of 0.34 and 0.45 for symptoms and medications respectively, which is significantly better than 0.18 and 0.35 for the baseline model. The contributions of different components of the model are quantified using ablation analysis.

研究动机与目标

• 为解决在有限、低资源的临床对话数据中联合提取临床实体、其属性及关系的挑战。
• 克服现有关系抽取模型在计算效率和准确性上的局限，这些模型通常仅能分析短跨度（2–3 个句子）内的关系。
• 通过利用多任务学习和知识图谱嵌入，在标签空间较大的低资源场景下提升性能。
• 评估模型捕捉长对话中长距离依赖关系的能力（最长可达 10 分钟），其中关系常跨越多个话语轮次。
• 通过消融研究量化记忆缓冲区和知识图谱特征等架构组件对性能提升的贡献。

提出的方法

• R-SAT 采用两阶段、分层架构：首先通过标注机制识别实体和属性的候选跨度，随后将其分类为预定义类型。
• 记忆缓冲区用于存储检测到的实体及其上下文的潜在表征，从而实现对长序列中实体与属性之间关系的高效联合推理。
• 模型采用多任务学习，联合优化实体识别、属性分类和关系抽取任务，共享各任务之间的表征。
• 将知识图谱嵌入融入输入特征，以利用领域特定的临床知识增强表征学习。
• 采用端到端的序列到序列框架进行训练，使用结构化预测损失，实现所有组件的联合优化。
• 通过计算属性跨度与记忆缓冲区中存储的实体之间的注意力得分来执行关系预测，从而实现超越局部句子边界的长距离关系检测。

实验结果

研究问题

• RQ1 单一模型是否能在低资源设置下有效且高效地实现临床实体、其属性以及实体间关系的联合推理？
• RQ2 在长临床对话中，该模型在提取症状与其属性之间关系方面相较于强基线模型表现如何？
• RQ3 记忆缓冲区和知识图谱嵌入等架构组件在性能提升中的贡献程度如何？
• RQ4 当关系跨越多个对话轮次（如 3 个及以上句子）时，模型如何处理长距离依赖？
• RQ5 与人工标注者相比，该模型的性能如何？临床关系抽取中的主要错误来源是什么？

主要发现

• 在症状-属性关系抽取任务上，R-SAT 的 F1 得分为 0.82，相比基线（0.62）提升 32%。
• 在药物-属性关系任务上，R-SAT 的 F1 得分为 0.60，相比基线（0.41）提升 50%。
• 在更具挑战性的联合推理任务（实体与关系联合抽取）中，R-SAT 在症状上的 F1 得分为 0.34，在药物上的 F1 得分为 0.45，显著优于基线（分别为 0.18 和 0.35）。
• 模型成功识别出 10.6% 的正确关系跨越 3 个或更多句子，接近黄金标准的 11.1%，表明模型无偏向短距离关系的倾向。
• 消融研究显示，记忆缓冲区和知识图谱特征对性能提升有显著贡献，尤其在长距离依赖建模方面。
• 人工标注者的 F1 得分为 0.51，而模型达到人类性能的 67%，表明尽管已有显著提升，但仍存在较大的改进空间。