[论文解读] A generic rule-based system for clinical trial patient selection

Jianlin Shi, Kevin Graves+1 more|arXiv (Cornell University)|Jul 16, 2019

Ethics in Clinical Research参考文献 12被引用 4

一句话总结

本文提出了一种通用的基于规则的自然语言处理流水线，用于识别符合临床试验中异质性纳入和排除标准的患者。通过在临床记录中使用结构化规则匹配，该系统在n2c2 2018挑战赛中取得了平均F1分数0.89，位列45支队伍中的第8名，展示了在不依赖深度学习的情况下仍具备出色性能。

ABSTRACT

The n2c2 2018 Challenge task 1 aimed to identify patients who meet lists of heterogeneous inclusion/exclusion criteria for a hypothetical clinical trial. We demonstrate a generic rule-based natural language pipeline can support this task with decent performance (the average F1 score on the test set is 0.89, ranked the 8th out of 45 teams ).

研究动机与目标

• 解决在临床试验中识别符合复杂且异质性纳入和排除标准患者的挑战。
• 开发一种无需依赖深度学习模型的通用可重用基于规则的系统。
• 通过自然语言处理提高在真实世界临床数据中的患者选择准确性。
• 通过自动化解析自由文本的临床标准，支持临床试验的患者招募。
• 在临床NLP的标准基准任务中实现高性能表现。

提出的方法

• 该系统使用基于规则的流水线，将临床试验入选标准与结构化临床记录进行解析和匹配。
• 应用命名实体识别与归一化技术，提取疾病、手术操作和药物等医学概念。
• 定义语义规则以处理临床文本中的时间、否定和比较表达。
• 结合关键词匹配、模式匹配和临床推理规则来评估入选资格。
• 设计规则以处理复杂的语言结构，如否定（例如：'无糖尿病病史'）和时间修饰语（例如：'过去6个月内'）。
• 该流水线设计为通用且可适应不同临床试验标准，无需重新训练。

实验结果

研究问题

• RQ1 基于规则的系统是否能在不使用深度学习的情况下实现与复杂模型相当的性能？
• RQ2 通用基于规则的方法在处理异质且复杂的入选标准方面效果如何？
• RQ3 基于规则的系统在不同临床试验标准和临床记录类型之间具有多大程度的泛化能力？
• RQ4 语言复杂性（如否定、时间表达）对基于规则的患者选择准确性有何影响？
• RQ5 在n2c2 2018挑战赛中，基于规则的系统性能与深度学习模型相比如何？

主要发现

• 该基于规则的系统在n2c2 2018挑战赛测试集上取得了平均F1分数0.89，表现优异。
• 该系统在45支队伍中排名第8名，表明其性能可与更复杂的模型相媲美。
• 该方法有效处理了临床文本中复杂的语言现象，如否定、时间表达和修饰语。
• 其通用设计使得系统无需重新训练即可应用于多种不同的临床试验标准。
• 结果表明，当精心设计时，基于规则的系统在临床试验患者选择任务中可极为有效。
• 该系统的性能凸显了语言精确性与结构化规则设计在临床NLP任务中的价值。