[논문 리뷰] Text-to-SQL Generation for Question Answering on Electronic Medical Records

Ping Wang, Tian Shi외 1명|arXiv (Cornell University)|2019. 07. 28.

Topic Modeling참고 문헌 49인용 수 8

한 줄 요약

이 논문은 전자 의무기록(EMR)에서 엔드 투 엔드 질문-SQL 생성을 위한 딥러닝 모델인 TREQS를 제안한다. 순서-순서 프레임워크를 기반으로 하며, 주의 메커니즘과 작업 전용 검색 테이블을 통합하여 의료 약어, 철자 실수, 복잡한 조건 처리의 정확도를 향상시킨다. 주요 기여는 MIMIC-III 데이터베이스에서 유래한 대규모 공개 질문-SQL 데이터셋인 MIMICSQL의 구축이다. 이는 강력한 훈련 및 평가를 가능하게 하며, 병변 값 예측 성능과 노이즈가 있는 입력에 대한 강건성 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Electronic medical records (EMR) contain comprehensive patient information and are typically stored in a relational database with multiple tables. Effective and efficient patient information retrieval from EMR data is a challenging task for medical experts. Question-to-SQL generation methods tackle this problem by first predicting the SQL query for a given question about a database, and then, executing the query on the database. However, most of the existing approaches have not been adapted to the healthcare domain due to a lack of healthcare Question-to-SQL dataset for learning models specific to this domain. In addition, wide use of the abbreviation of terminologies and possible typos in questions introduce additional challenges for accurately generating the corresponding SQL queries. In this paper, we tackle these challenges by developing a deep learning based TRanslate-Edit Model for Question-to-SQL (TREQS) generation, which adapts the widely used sequence-to-sequence model to directly generate the SQL query for a given question, and further performs the required edits using an attentive-copying mechanism and task-specific look-up tables. Based on the widely used publicly available electronic medical database, we create a new large-scale Question-SQL pair dataset, named MIMICSQL, in order to perform the Question-to-SQL generation task in healthcare domain. An extensive set of experiments are conducted to evaluate the performance of our proposed model on MIMICSQL. Both quantitative and qualitative experimental results indicate the flexibility and efficiency of our proposed method in predicting condition values and its robustness to random questions with abbreviations and typos.

연구 동기 및 목표

• 의료 기록에서 전문 지식과 복잡한 규칙 기반 시스템이 필요로 하는 비효율적이고 유연성 없는 임상 데이터 검색 문제를 해결하기 위해.
• 특히 EMR 데이터를 위한 질문-SQL 모델 훈련에 적합한 도메인 특화 데이터셋의 부족 문제를 해결하기 위해.
• 질문에 의료 약어, 철자 실수, 모호한 용어가 포함되는 임상 환경에서 자연어에서 SQL로의 변환에 대한 강건성을 향상시키기 위해.
• 사전 정의된 템플릿이나 복잡한 파싱 파이프라인에 의존하지 않고 자연어 질문에서 직접 실행 가능한 SQL 쿼리를 생성할 수 있는 모델을 개발하기 위해.
• 실제 임상 질의에서 OOV(Out-of-Vocabulary) 또는 노이즈가 있는 입력에 대한 일반화 능력과 병변 값 예측 성능을 평가하기 위해.

제안 방법

• 의료 질문-SQL 생성을 위해 최적화된 인코더-디코더 아키텍처를 가진 순서-순서 모델인 TREQS를 제안한다.
• 입력 질문에서 관련 关련 키워드를 SQL 쿼리로 직접 복사할 수 있도록 주의 기반 복사 메커니즘을 통합하여 병변 값에 대한 정확도를 향상시킨다.
• 일반적인 의료 용어(예: 질병 이름, 검사 값, 절차 코드)를 저장하고 검색하기 위해 작업 전용 검색 테이블을 사용하여 OOV 문제를 감소시킨다.
• 생성 후 복구 기법을 적용하여 예측된 값이 검색 테이블의 알려진 항목과 일치하도록 오류가 발생한 병변 값을 수정한다.
• MIMIC-III EMR 데이터베이스에서 인간이 애너테이션한 질문-SQL 쌍으로 구성된 새로운 대규모 데이터셋인 MIMICSQL을 기반으로 모델을 훈련하고 평가한다.
• 모델 행동을 해석하고 질문 키워드가 해당 데이터베이스 컬럼 및 조건 값과 정확히 일치하는지 확인하기 위해 주의 시각화를 활용한다.

실험 결과

연구 질문

• RQ1 주목적 복사 및 검색 테이블을 통합한 순서-순서 모델이 기존 방법보다 임상 질문에 대한 정확한 SQL 쿼리를 생성하는 데서 더 우수한 성능을 보일 수 있는가?
• RQ2 제안된 TREQS 모델은 임상 질문에서 의료 약어, 철자 실수, 모호한 용어와 같은 실제 도전 과제를 얼마나 효과적으로 처리하는가?
• RQ3 MIMICSQL 데이터셋이 의료 분야에서 질문-SQL 모델의 일반화 및 강건성에 얼마나 기여하는가?
• RQ4 복구 기법의 통합이 생성된 SQL 쿼리의 병변 값 예측 정확도에 상당한 영향을 미치는가?
• RQ5 입력 질문에 키워드가 누락되거나 잘못된 경우에도 모델이 실행 가능한 의미적으로 올바른 SQL 쿼리를 생성할 수 있는가?

주요 결과

• TREQS는 MIMICSQL 벤치마크에서 기존 모델인 Seq2seq, Ptr-Net, Coarse-to-Fine를 모두 초월하여 정확도 및 부분 일치 지표에서 최신 기술 수준의 성능을 달성한다.
• 주의 복사 및 검색 테이블 메커니즘 덕분에 노이즈가 있는 입력에 대해 강건한 성능을 보이며, 철자 실수나 약어가 포함된 질문에서도 정확한 SQL 쿼리를 생성한다.
• 정성적 분석 결과 TREQS는 질문에서 핵심 임상 용어(예: 'coronary artery disease', 'ferritin')를 정확한 SQL 조건에 복사하는 데 성공한다.
• 주의 시각화 결과 모델이 질문 키워드를 해당 데이터베이스 컬럼 및 조건 값과 정확히 일치시키고 있음을 확인하여 해석 가능성 향상이 가능하다.
• 복구 기법은 병변 값 예측 정확도를 크게 향상시키며, 특히 컬럼 이름이나 값을 정확히 예측하지 못하는 기준 모델의 경우 두드러진 효과가 있다.
• M-SQLNET 및 기타 기준 모델은 자주 올바른 조건 컬럼을 생성하지 못해 실행 불가능한 쿼리를 생성하지만, TREQS는 많은 경우 복구 기법 없이도 완전히 실행 가능한 정확한 쿼리를 생성한다.