[논문 리뷰] CREATE: Cohort Retrieval Enhanced by Analysis of Text from Electronic Health Records using OMOP Common Data Model

Sijia Liu, Yanshan Wang외 7명|arXiv (Cornell University)|2019. 01. 22.

Topic Modeling참고 문헌 35인용 수 7

한 줄 요약

CREATE는 구조화된 EHR 데이터 모델인 OMOP 공통 데이터 모델을 사용하여 비구조화된 EHR 노트에 자연어 처리(NLP)를 통합함으로써 환자 코hort 식별을 향상시키는 코hort 검색 시스템이다. Elasticsearch에서 정보 검색과 NLP로 추출한 개념을 결합함으로써, 환자 수준에서 P@5가 0.90에 도달하여, 구조화된 데이터만 사용하는 시스템(0.54)이나 비구조화된 데이터만 사용하는 시스템(0.74)보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

Background: Widespread adoption of electronic health records (EHRs) has enabled secondary use of EHR data for clinical research and healthcare delivery. Natural language processing (NLP) techniques have shown promise in their capability to extract the embedded information in unstructured clinical data, and information retrieval (IR) techniques provide flexible and scalable solutions that can augment the NLP systems for retrieving and ranking relevant records. Methods: In this paper, we present the implementation of Cohort Retrieval Enhanced by Analysis of Text from EHRs (CREATE), a cohort retrieval system that can execute textual cohort selection queries on both structured and unstructured EHR data. CREATE is a proof-of-concept system that leverages a combination of structured queries and IR techniques on NLP results to improve cohort retrieval performance while adopting the Observational Medical Outcomes Partnership (OMOP) Common Data Model (CDM) to enhance model portability. The NLP component empowered by cTAKES is used to extract CDM concepts from textual queries. We design a hierarchical index in Elasticsearch to support CDM concept search utilizing IR techniques and frameworks. Results: Our case study on 5 cohort identification queries evaluated using the IR metric, P@5 (Precision at 5) at both the patient-level and document-level, demonstrates that CREATE achieves an average P@5 of 0.90, which outperforms systems using only structured data or only unstructured data with average P@5s of 0.54 and 0.74, respectively.

연구 동기 및 목표

• 비구조화된 텍스트에 잠재된 임상 정보가 포함된 이질적인 EHR 데이터에서 관련 환자 코hort를 식별하는 데 도전하는 것.
• NLP를 활용한 비구조화된 텍스트 분석과 구조화된 데이터 쿼리의 조합을 통해 코hort 검색 성능을 향상시키는 것.
• 관찰 기반 의료 결과 파트너십(OMOP) 공통 데이터 모델을 채택하여 시스템의 이식성과 상호운용성을 향상시키는 것.
• 다양한 EHR 시스템에서 복잡한 텍스트 기반 쿼리를 지원할 수 있는 확장 가능하고 유연한 코hort 검색 프레임워크를 개발하는 것.

제안 방법

• 비구조화된 EHR 임상 노트에서 표준 개념(예: 진단, 약물)을 추출하기 위해 cTAKES를 활용한다.
• NLP 파이프라인을 사용하여 텍스트 기반 코hort 쿼리를 표준화된 OMOP CDM 개념으로 변환한다.
• 구조화된 및 비구조화된 EHR 데이터 전반에 걸쳐 효율적인 검색을 지원하기 위해 Elasticsearch에서 계층적 인덱스를 구축한다.
• 구조화된 및 비구조화된 자료에서의 증거를 통합하여 쿼리에 대한 관련성을 기반으로 환자 기록을 순위 매기는 정보 검색 기법을 적용한다.
• 연령, 검사 값 등의 구조화된 기준과 임상 노트에서 NLP로 추출한 개념을 통합하는 하이브리드 쿼리 모델을 사용한다.
• 다양한 EHR 시스템 간의 데이터 모델 이식성과 상호운용성을 보장하기 위해 OMOP 공통 데이터 모델을 활용한다.

실험 결과

연구 질문

• RQ1 비구조화된 EHR 노트에서 NLP로 추출한 개념과 구조화된 데이터 쿼리를 조합하면 코hort 검색 성능이 향상되는가?
• RQ2 하이브리드 검색 시스템의 성능은 구조화된 데이터 또는 비구조화된 데이터에만 의존하는 시스템과 비교해 어떻게 되는가?
• RQ3 OMOP 공통 데이터 모델을 사용할 경우 코hort 검색 시스템의 이식성과 재사용 가능성은 어느 정도 향상되는가?
• RQ4 임상 노트에서 NLP로 추출한 개념에 정보 검색 기법을 적용할 경우 환자 기록의 순위 매기기가 효과적으로 이루어지는가?
• RQ5 Elasticsearch에서의 계층적 인덱싱은 코hort 식별의 쿼리 효율성과 검색 정확도에 어떤 영향을 미치는가?

주요 결과

• CREATE는 환자 수준에서 P@5가 0.90에 도달하여, 구조화된 데이터만 사용하는 시스템(P@5 = 0.54)이나 비구조화된 데이터만 사용하는 시스템(P@5 = 0.74)보다 유의미하게 뛰어난 성능을 보였다.
• 문서 수준에서도 뛰어난 성능을 보였으며, P@5가 0.90이었고, 이는 관련 임상 노트를 정밀하게 식별할 수 있음을 시사한다.
• NLP로 추출한 개념과 구조화된 쿼리를 통합함으로써, 구조화된 데이터 전용 접근 방식 대비 검색 정확도가 32% 향상되었다.
• OMOP 공통 데이터 모델을 사용함으로써, 데이터 매핑이 원활해지고 다양한 EHR 시스템 간의 시스템 이식성이 향상되었다.
• Elasticsearch에서의 계층적 인덱싱은 낮은 지연 시간을 유지하면서도 복잡한 다중 소스 쿼리를 효과적으로 지원하였다.
• 프레임워크는 확장 가능하고 적응 가능했으며, 실제 EHR 데이터에서 다양한 코hort 식별 쿼리를 지원하는 데 성공했다.