[论文解读] EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records

Gyubok Lee, Hyeonji Hwang+7 more|arXiv (Cornell University)|Jan 16, 2023

Electronic Health Records Systems被引用 12

一句话总结

EHRSQL 引入一个面向结构化病历数据的大规模文本到SQL 基准测试，将问题与 MIMIC-III 和 eICU 相关联，包含时间感知查询和不可回答的情况，以评估可信赖的语义解析。

ABSTRACT

We present a new text-to-SQL dataset for electronic health records (EHRs). The utterances were collected from 222 hospital staff members, including physicians, nurses, and insurance review and health records teams. To construct the QA dataset on structured EHR data, we conducted a poll at a university hospital and used the responses to create seed questions. We then manually linked these questions to two open-source EHR databases, MIMIC-III and eICU, and included various time expressions and held-out unanswerable questions in the dataset, which were also collected from the poll. Our dataset poses a unique set of challenges: the model needs to 1) generate SQL queries that reflect a wide range of needs in the hospital, including simple retrieval and complex operations such as calculating survival rate, 2) understand various time expressions to answer time-sensitive questions in healthcare, and 3) distinguish whether a given question is answerable or unanswerable. We believe our dataset, EHRSQL, can serve as a practical benchmark for developing and assessing QA models on structured EHR data and take a step further towards bridging the gap between text-to-SQL research and its real-life deployment in healthcare. EHRSQL is available at https://github.com/glee4810/EHRSQL.

研究动机与目标

• 通过汇集来自各职业的 222 名医院员工的问题，反映实际的医院信息需求。
• 将问题与两个开源的 EHR 数据库（MIMIC-III 和 eICU）关联，以实现对结构化数据的实际问答。
• 结合具有多样时间表达的时效性问题，以反映医疗保健工作流程。
• 包括不可回答的问题，以评估模型的可靠性和在回答生成之外的弃回答能力。

提出的方法

• 通过医院调查收集现实世界的问题，并将其模板化为可回答和不可回答的模板。
• 设计三种时间筛选类型（全局、在内、精确），包括多种表达类型、单位和区间，用于自然语言和 SQL 表达。
• 对 MIMIC-III 和 eICU 的 SQL 查询进行人工注释，偏好嵌套查询而非广泛的 JOIN 以反映 EHR 模式。
• 通过人工改写和基于机器学习的回译，并进行质量筛选，改写模板以增加语言多样性。
• 引入一个可信赖的语义解析任务，联合评估可回答性识别与可执行 SQL 正确性。

Figure 1: Demographics of the 222 respondents by hospital departments and the years of experience.

实验结果

研究问题

• RQ1 模型将医院工作人员的问题转化为针对 MIMIC-III 和 eICU 架构的 SQL 查询的能力有多强？
• RQ2 该数据集是否能够支持具有多样时间表达和时间间隔的时效性医疗问题？
• RQ3 模型是否能够正确识别不可回答的问题并避免查询数据库？
• RQ4 架构信息对医疗文本到SQL 的模型性能有何影响？
• RQ5 最先进的语义解析器如何迁移到医疗领域并处理复杂的电子病历查询？

主要发现

• EHRSQL 汇集了跨两个数据库的 24K 个问题- SQL 对，具备显著的时间感知性与不可回答实例。
• 基线模型（如 T5 变体）表现各异，基于分位数的不确定性阈值在验证/测试 F1 及执行指标上表现最好。
• 从基于 Spider 的模型到 EHRSQL 的零样本跨领域迁移能力有限，凸显医疗 SQL 生成的领域特定挑战。
• 时间表达的加入显著增加查询复杂性，需采用时间感知的 SQL 模式（strftime、datetime、NULL 处理）。
• 在若干现实性维度上，EHRSQL 优于可比的 EHR 问答数据集，包括不可回答的问题和对架构无感知的问题来源。

Figure 2: EHR schema is structured in a hierarchy, and real-world questions often require multi-step reasoning over tables.