[论文解读] Learning the grammar of prescription: recurrent neural network grammars for medication information extraction in clinical texts

Ivan Lerner, Jordan Jouffroy+2 more|arXiv (Cornell University)|Apr 24, 2020

Natural Language Processing Techniques参考文献 30被引用 4

一句话总结

本研究评估了循环神经网络语法（RNNG），一种自顶向下的、基于转移的神经网络解析器，在从法语临床文本中提取药物信息（药物名称、剂量、频率、持续时间、给药途径和病症）方面的表现。由于其架构的归纳偏置和联合实体-关系建模，RNNG 在关系抽取任务中表现优于 BiLSTM 基线模型（F1 为 88.5% 对比 84.6%），尽管在实体检测任务中略逊于后者（82.4% 对比 84.1%）。

ABSTRACT

In this study, we evaluated the RNNG, a neural top-down transition based parser, for medication information extraction in clinical texts. We evaluated this model on a French clinical corpus. The task was to extract the name of a drug (or class of drug), as well as fields informing its administration: frequency, dosage, duration, condition and route of administration. We compared the RNNG model that jointly identify entities and their relations with separate BiLSTMs models for entities and relations as baselines. We call seq-BiLSTMs the baseline models for relations extraction that takes as extra-input the output of the BiLSTMs for entities. RNNG outperforms seq-BiLSTM for identifying relations, with on average 88.5% [87.2-89.8] versus 84.6 [83.1-86.1] F-measure. However, RNNG is weaker than the baseline BiLSTM on detecting entities, with on average 82.4 [80.8-83.8] versus 84.1 [82.7-85.6] % F- measure. RNNG trained only for detecting relations is weaker than RNNG with the joint modelling objective, 87.4 [85.8-88.8] versus 88.5% [87.2-89.8]. The performance of RNNG on relations can be explained both by the model architecture, which provides shortcut between distant parts of the sentence, and the joint modelling objective which allow the RNNG to learn richer representations. RNNG is efficient for modeling relations between entities in medical texts and its performances are close to those of a BiLSTM for entity detection.

研究动机与目标

• 通过使用神经语法建模句法和关系结构，提升临床文本中药物信息抽取的性能。
• 评估循环神经网络语法（RNNG）是否能比独立模型更有效地联合检测实体及其关系。
• 评估联合建模与架构设计在低资源临床 NLP 环境下对性能的影响。
• 对比 RNNG 在法语临床笔记中实体和关系抽取任务上与 BiLSTM 基线模型的性能表现。

提出的方法

• RNNG 模型采用自顶向下的、基于转移的解析方法，联合预测临床文本中的实体及其关系。
• 该模型使用循环神经网络维护隐藏状态，以指导解析决策并表示结构依赖关系。
• 通过共享隐藏状态实现实体与关系预测的联合训练，使 RNNG 能够学习到更丰富、更具上下文感知的表示。
• 将 RNNG 与基线 seq-BiLSTM 模型进行对比，后者先检测实体，再将结果作为输入用于关系抽取。
• 还评估了仅训练关系抽取的 RNNG 变体，以隔离联合建模的贡献。
• 通过在标注了药物名称、剂量、频率、持续时间、给药途径和病症的法语临床语料库上计算 F1 分数，评估模型性能。

实验结果

研究问题

• RQ1 像 RNNG 这类神经语法规则模型是否能在临床文本中药物实体之间的关系抽取中优于标准 BiLSTM 模型？
• RQ2 在 RNNG 中联合建模实体与关系是否优于分别建模实体与关系？
• RQ3 RNNG 的架构归纳偏置，特别是其连接远距离成分的能力，如何影响关系抽取性能？
• RQ4 与仅训练关系抽取相比，联合训练对模型性能的贡献有多大？
• RQ5 RNNG 在实体检测任务上的表现与专用 BiLSTM 模型相比如何？

主要发现

• RNNG 在关系抽取任务中取得 88.5% [87.2–89.8] 的平均 F1 分数，显著优于 seq-BiLSTM 基线模型的 84.6% [83.1–86.1]。
• RNNG 在实体检测任务中的表现劣于 BiLSTM 基线模型，其 F1 分数为 82.4% [80.8–83.8]，而 BiLSTM 基线为 84.1% [82.7–85.6]。
• RNNG 中的联合建模提升了关系抽取性能，因为仅训练关系抽取的模型 F1 为 87.4% [85.8–88.8]，低于联合训练的 88.5%。
• RNNG 的架构归纳偏置，即能够建立远距离句法成分之间的快捷连接，促使其在关系抽取方面表现更优。
• RNNG 在关系抽取任务上的表现接近 BiLSTM 模型在实体检测任务上的水平，表明其在临床 NLP 流程中具有良好的集成潜力。
• 结果表明，RNNG 的优势在于建模临床文本中的关系结构，尤其是在句法和语义依赖关系跨越较长距离时。