[논문 리뷰] Knowledge Graph-based Question Answering with Electronic Health Records

Junwoo Park, Youngwoo Cho외 3명|arXiv (Cornell University)|2020. 10. 19.

Topic Modeling참고 문헌 29인용 수 15

한 줄 요약

이 논문은 전자 의료 기록(EHR)에 대한 질문-답변(QA)를 지식 그래프 기반 접근법으로 제안하며, 자연어 질의를 SQL이 아닌 SPARQL로 변환한다. 수정된 MIMICSQL 데이터셋을 사용하여 저자들은 모델 변경 없이 그래프 기반 QA가 표기 기반 QA보다 최대 34% 높은 정확도를 달성함을 입증하여, 지식 그래프가 관계형 테이블보다 임상 관계를 더 잘 포착함을 확인한다.

ABSTRACT

Question Answering (QA) is a widely-used framework for developing and evaluating an intelligent machine. In this light, QA on Electronic Health Records (EHR), namely EHR QA, can work as a crucial milestone towards developing an intelligent agent in healthcare. EHR data are typically stored in a relational database, which can also be converted to a directed acyclic graph, allowing two approaches for EHR QA: Table-based QA and Knowledge Graph-based QA. We hypothesize that the graph-based approach is more suitable for EHR QA as graphs can represent relations between entities and values more naturally compared to tables, which essentially require JOIN operations. In this paper, we propose a graph-based EHR QA where natural language queries are converted to SPARQL instead of SQL. To validate our hypothesis, we create four EHR QA datasets (graph-based VS table-based, and simplified database schema VS original database schema), based on a table-based dataset MIMICSQL. We test both a simple Seq2Seq model and a state-of-the-art EHR QA model on all datasets where the graph-based datasets facilitated up to 34% higher accuracy than the table-based dataset without any modification to the model architectures. Finally, all datasets are open-sourced to encourage further EHR QA research in both directions.

연구 동기 및 목표

• 지식 그래프 기반 EHR QA가 관계형 데이터베이스를 사용하는 전통적인 표기 기반 QA보다 성능이 뛰어나다는지 조사하기.
• EHR 데이터의 복잡한 스키마와 조인(JOIN) 연산 문제를 해결하기 위해 그래프 구조를 활용하여 보다 자연스러운 관계 모델링을 수행하기.
• 표기 기반과 그래프 기반 양방향 EHR QA 연구를 위한 새로운 벤치마크 데이터셋 쌍(MIMICSQL* 및 MIMIC-SPARQL*)을 구축하고 공개하기.
• 정확도, 쿼리 길이, 스키마 복잡성에 대한 견고성 측면에서 NLQ-to-SQL 및 NLQ-to-SPARQL 모델을 실증적으로 비교하기.
• 자연어 질문과 관련된 SQL 및 SPARQL 쿼리의 구조적 차이를 분석하고, 모델 성능에 미치는 영향을 평가하기.

제안 방법

• 저자들은 원본 MIMICSQL 데이터셋을 MIMIC-III 관계형 스키마의 실체 및 관계 의미를 유지하면서 지식 그래프 표현으로 변환한다.
• 자연어 질문에서 SPARQL 쿼리를 생성하며, 이 작업을 NLQ-to-SPARQL로 간주한다. 즉, NLQ-to-SQL이 아닌 방식이다.
• 실체(예: 환자, 약물)를 노드로, 임상 관계(예: 처방된-대상, 진단된-대상)를 유형이 부여된 간선으로 하는 지식 그래프를 구축한다.
• 표기 기반(SQL) 및 그래프 기반(SPARQL) 설정 간에 모델 아키텍처를 동일하게 유지하여 공정한 비교를 확보한다.
• 최신 EHR QA 모델(TREQS)의 성능을 MIMICSQL* (표기 기반) 및 MIMIC-SPARQL* (그래프 기반) 데이터셋에 대해 평가한다.
• 쿼리 길이 추세와 구조적 복잡도를 분석하며, 스키마 복잡성과 질문 깊이가 증가함에 따라 SQL과 SPARQL를 비교한다.

실험 결과

연구 질문

• RQ1 지식 그래프 기반 EHR QA는 정확도와 스키마 복잡성에 대한 견고성 측면에서 표기 기반 QA보다 뛰어나게 되는가?
• RQ2 SPARQL 및 SQL 쿼리의 구조적 특성은 자연어 질문과 비교해 길이와 문법 유사성 측면에서 어떻게 다른가?
• RQ3 SQL의 조인(JOIN) 연산 수가 SPARQL의 간선 기반 탐색과 비교해 모델 성능에 얼마나 큰 영향을 미치는가?
• RQ4 동일한 모델 아키텍처가 SPARQL 기반 쿼리에 대해 토닝된 경우, SQL 기반 쿼리에 비해 더 높은 성능을 내는가?
• RQ5 OOV(어휘 외 단어) 문제는 NLQ-to-SQL 모델에 비해 NLQ-to-SPARQL 모델에 얼마나 심각하게 영향을 미치는가?

주요 결과

• 모델 아키텍처를 수정하지 않고도 그래프 기반 접근법이 표기 기반 접근법보다 최대 34% 높은 정확도를 달성했다.
• TREQS 모델은 그래프 기반 MIMIC-SPARQL* 데이터셋으로 훈련했을 때 실체 관계 예측에서 5.1% 향상되었고, 답변 예측에서 3.6% 향상되었다.
• 질문 복잡도가 증가함에 따라 SPARQL 쿼리 길이가 SQL 쿼리 길이만큼 크게 증가하지 않아, SPARQL가 자연어 질문과 유사한 구조를 지닌다.
• JOIN 연산 수가 증가함에 따라 올바른 SQL 쿼리 수는 감소하는 반면, SPARQL 성능은 안정을 유지하여 복잡한 스키마에 대해 더 우수한 확장성을 보였다.
• 특히 다중 실체를 포함한 복잡한 질문에 대해 SPARQL 쿼리는 자연어 질문과 더 유사한 구조를 지녔다.
• OOV 문제로 인해 Seq2seq 모델은 SQL 생성에 더 심각하게 영향을 받았지만, SPARQL 모델은 조건 값이 잘못 복사되더라도 올바른 논리적 구조를 유지했다.