[논문 리뷰] EHRSQL: A Practical Text-to-SQL Benchmark for Electronic Health Records

Gyubok Lee, Hyeonji Hwang외 7명|arXiv (Cornell University)|2023. 01. 16.

Electronic Health Records Systems인용 수 12

한 줄 요약

EHRSQL은 구조화된 EHR 데이터에 대한 대규모 텍스트-SQL 벤치마크를 도입하고, 질문을 MIMIC-III 및 eICU에 연결하며, 시계열 인식 쿼리와 신뢰할 수 있는 의미 구문 분석 평가를 위한 답이 없는 사례를 포함한다.

ABSTRACT

We present a new text-to-SQL dataset for electronic health records (EHRs). The utterances were collected from 222 hospital staff members, including physicians, nurses, and insurance review and health records teams. To construct the QA dataset on structured EHR data, we conducted a poll at a university hospital and used the responses to create seed questions. We then manually linked these questions to two open-source EHR databases, MIMIC-III and eICU, and included various time expressions and held-out unanswerable questions in the dataset, which were also collected from the poll. Our dataset poses a unique set of challenges: the model needs to 1) generate SQL queries that reflect a wide range of needs in the hospital, including simple retrieval and complex operations such as calculating survival rate, 2) understand various time expressions to answer time-sensitive questions in healthcare, and 3) distinguish whether a given question is answerable or unanswerable. We believe our dataset, EHRSQL, can serve as a practical benchmark for developing and assessing QA models on structured EHR data and take a step further towards bridging the gap between text-to-SQL research and its real-life deployment in healthcare. EHRSQL is available at https://github.com/glee4810/EHRSQL.

연구 동기 및 목표

• 실제 병원 정보 요구를 반영하기 위해 각 직종의 병원 직원 222명으로부터 질문을 수집한다.
• 질문을 두 개의 오픈소스 EHR 데이터베이스(MIMIC-III 및 eICU)에 연결하여 구조화된 데이터에 대한 실용적인 QA를 가능하게 한다.
• 다양한 시간 표현을 가진 시간에 민감한 질문을 도입하여 의료 워크플로를 반영한다.
• 답변 생성뿐 아니라 모델의 신뢰성 및 불가응답 여부 판단을 평가하기 위해 답변 불가 질문을 포함한다.

제안 방법

• 병원 설문조사를 통해 실제 질문을 수집하고 이를 답변 가능 템플릿과 답변 불가 템플릿으로 형식화한다.
• NL과 SQL 표현을 위한 다양한 표현 유형, 단위, 간격을 가진 세 가지 시간 필터 유형(global, within, exact)을 설계한다.
• MIMIC-III 및 eICU에 대한 SQL 쿼리를 수동으로 주석하고 EHR 스키마를 반영하기 위해 광범위한 JOIN 사용보다 중첩 쿼리를 선호한다.
• 사람의 의역과 ML 기반 역번역을 통한 품질 필터링으로 언어 다양성을 높이기 위해 템플릿을 의역한다.
• 답변 가능성 인식과 실행 가능한 SQL 정확성을 공동으로 평가하는 신뢰할 수 있는 의미 구문 분석 작업을 도입한다.

Figure 1: Demographics of the 222 respondents by hospital departments and the years of experience.

실험 결과

연구 질문

• RQ1 모델이 병원 직원의 질문을 MIMIC-III 및 eICU 스키마에 대한 SQL 쿼리로 얼마나 잘 변환할 수 있는가?
• RQ2 데이터셋이 다양한 시간 표현과 간격을 가진 시간에 민감한 의료 질문을 지원할 수 있는가?
• RQ3 모델이 답변 불가 질문을 정확히 식별하고 데이터베이스에 질의하는 것을 피할 수 있는가?
• RQ4 의료 텍스트-를-SQL에서 스키마 정보가 모델 성능에 미치는 영향은 무엇인가?
• RQ5 최신의 의미 구문 분석기가 헬스케어 도메인으로 어떻게 이전되며 복잡한 EHR 쿼리를 처리하는가?

주요 결과

• EHRSQL은 두 데이터베이스에 걸친 24K 개의 질문-SQL 쌍을 시간 인식이 크게 포함하고 답변 불가 사례를 다수 포함한다.
• 기준선 모델(예: T5 변형)은 성능이 다양하며 분위수 기반 불확실성 임계값이 검증/테스트 F1 및 실행 지표에서 최상의 결과를 보인다.
• Spider 기반 모델에서 EHRSQL로의 제로샷 교차 도메인 전이는 제한적이며, 헬스케어 SQL 생성의 도메인 특수성 문제를 강조한다.
• 시간 표현의 포함은 쿼리의 복잡성을 크게 증가시키며, 시간 의식적 SQL 패턴(strftime, datetime, NULL 처리)을 필요로 한다.
• EHRSQL은 여러 현실성 축에서 비슷한 EHR QA 데이터셋보다 우수한 성능을 보이며, 답변 불가 질문과 스키마를 모르는 질문 출처를 포함한다.

Figure 2: EHR schema is structured in a hierarchy, and real-world questions often require multi-step reasoning over tables.