[논문 리뷰] A Deep Learning Pipeline for Patient Diagnosis Prediction Using Electronic Health Records

Leopold Franz, Yash Raj Shrestha외 1명|arXiv (Cornell University)|2020. 06. 23.

Machine Learning in Healthcare참고 문헌 30인용 수 19

한 줄 요약

이 논문은 전자 건강 기록(EHR)을 사용한 다중 진단 예측을 위한 딥러닝 파이프라인을 제시하며, 임상 노트와 구조화된 데이터를 각각 활용하는 두 모델인 ClinicalBERT_Multi와 DeepObserver를 도입한다. ClinicalBERT_Multi는 입원 후 3일 이내 조기 진단을 가능하게 하며 가장 높은 예측 성능를 기록하고, 해석 가능한 주의 시각화를 제공한다. 반면 FHIR 기반 데이터 변환 도구는 다양한 데이터셋 간 표준화된 EHR 통합을 가능하게 한다.

ABSTRACT

Augmentation of disease diagnosis and decision-making in healthcare with machine learning algorithms is gaining much impetus in recent years. In particular, in the current epidemiological situation caused by COVID-19 pandemic, swift and accurate prediction of disease diagnosis with machine learning algorithms could facilitate identification and care of vulnerable clusters of population, such as those having multi-morbidity conditions. In order to build a useful disease diagnosis prediction system, advancement in both data representation and development of machine learning architectures are imperative. First, with respect to data collection and representation, we face severe problems due to multitude of formats and lack of coherency prevalent in Electronic Health Records (EHRs). This causes hindrance in extraction of valuable information contained in EHRs. Currently, no universal global data standard has been established. As a useful solution, we develop and publish a Python package to transform public health dataset into an easy to access universal format. This data transformation to an international health data format facilitates researchers to easily combine EHR datasets with clinical datasets of diverse formats. Second, machine learning algorithms that predict multiple disease diagnosis categories simultaneously remain underdeveloped. We propose two novel model architectures in this regard. First, DeepObserver, which uses structured numerical data to predict the diagnosis categories and second, ClinicalBERT_Multi, that incorporates rich information available in clinical notes via natural language processing methods and also provides interpretable visualizations to medical practitioners. We show that both models can predict multiple diagnoses simultaneously with high accuracy.

연구 동기 및 목표

• 의료 분야에서 머신러닝 응용을 저해하는 분산되고 상호운용성 없는 전자 건강 기록(EHR) 데이터 포맷 문제를 해결하기 위해.
• MIMIC-III EHR 데이터셋을 FHIR 형식으로 변환하여 보다 넓은 연구 호환성을 위한 통합 데이터 표현 프레임워크를 개발하기 위해.
• 다중 진단 코드를 동시에 높은 정확도로 예측할 수 있는 새로운 딥러닝 아키텍처를 설계하고 평가하기 위해.
• ClinicalBERT_Multi 모델의 주의 시각화를 통해 임상의의 의사결정 지원을 위한 모델의 해석 가능성 향상하기 위해.
• 임상노트와 구조화된 수치 데이터를 모두 활용하여 ICU 입원 후 3일 이내 조기 진단 예측을 가능하게 하기 위해.

제안 방법

• 저자들은 MIMIC-III EHR 데이터셋을 평탄한 FHIR(Fast Healthcare Interoperability Resources) 형식으로 매핑하는 파이썬 패키지를 개발하여 표준화되고 상호운용 가능한 데이터 접근을 가능하게 하였다.
• DeepObserver 모델은 Chartevents 테이블의 구조화된 수치 시계열 데이터를 8시간 간격으로 구간화한 후, 1D 컨volutional 신경망(CNN)을 사용하여 다중 레이블 분류를 통해 다중 진단 코드를 예측한다.
• ClinicalBERT_Multi 모델은 임상 노트에 대해 ClinicalBERT를 파인튜닝하며, Equation 3에서 제시한 확률 조합 전략을 기반으로 여러 텍스트 조각의 임베딩을 통합한다.
• 모델의 주의 가중치는 시각화되어 예측의 해석 가능성을 높이며, 임상적으로 관련 있는 토큰(예: 'acute respiratory failure'에서 'failure')에 높은 주의 점수를 기록한다.
• 진단 예측은 입원 후 3일, 6일, 12일 세 시점에서 수행되며, 조기 예측의 성능은 별도로 평가된다.
• 모델들은 MIMIC-III 데이터셋에서 훈련 및 평가되며, 여러 CCS 진단 카테고리에서 AU-PR 및 AUC 지표를 사용해 성능이 측정된다.

실험 결과

연구 질문

• RQ1 표준화된 FHIR 기반 데이터 변환 파이프라인은 이질적인 EHR 데이터셋의 상호운용성과 사용성을 머신러닝 연구에 개선할 수 있는가?
• RQ2 구조화된 EHR 데이터와 임상 노트를 모두 처리하는 딥러닝 모델이 다중 진단 예측에서 높은 정확도를 달성할 수 있는가?
• RQ3 ICU 입원 후 3일 이내에 빠른 진단 예측을 딥러닝 기반 EHR 데이터로 신뢰성 있게 달성할 수 있는가?
• RQ4 ClinicalBERT_Multi에서의 주의 시각화는 임상의사결정 지원을 위한 해석 가능성 향상에 어느 정도 기여하는가?
• RQ5 CNN 기반 모델인 DeepObserver와 트랜스포머 기반 모델인 ClinicalBERT_Multi의 다중 레이블 진단 예측 성능 특성은 어떻게 비교되는가?

주요 결과

• ClinicalBERT_Multi는 모든 모델 중 가장 높은 예측 성능를 기록하였으며, 특히 입원 후 3일 이내 조기 진단 예측에서 가장 높은 AU-PR 스코어를 기록하였다.
• 모델은 임상 노트에서 제공하는 풍부한 텍스트 정보를 활용하여 다중 진단 코드를 동시에 높은 성능으로 예측하는 데 성공하였다.
• 주의 시각화 결과, 모델은 'acute respiratory failure'에서 'failure'와 같은 임상적으로 관련 있는 용어에 정확히 주목하고 있음을 확인하였으며, 이는 모델의 해석 가능성 향상에 기여하였다.
• DeepObserver는 임상 노트에 의존하지 않고 Chartevents 테이블의 구조화된 수치 데이터만을 사용하여도 높은 AU-PR 스코어를 기록하였다.
• FHIR 변환 패키지는 MIMIC-III 데이터셋을 표준화되고 접근 가능한 형식으로 성공적으로 변환하였으며, 다른 임상 데이터셋과의 통합을 촉진하였다.
• 두 모델 모두 관측치를 8시간 간격으로 구간화함에 따라 고해상도 시간 패턴을 포착하지 못하는 한계를 보였으며, 향후 연구에서는 더 높은 해상도의 모델링 필요성을 시사하였다.