[논문 리뷰] MedGPT: Medical Concept Prediction from Clinical Narratives

Željko Kraljević, Anthony Shek외 4명|arXiv (Cornell University)|2021. 07. 07.

Machine Learning in Healthcare참고 문헌 23인용 수 5

한 줄 요약

MedGPT는 MedCAT을 사용해 자유형식의 전자건강기록(EHR)을 구조화한 후, 인과적 언어모델링을 적용하여 순차적인 의료 개념을 예측함으로써 비구조화된 임상 내역에서 향후 의료 장애를 예측하는 트랜스포머 기반 모델이다. 이는 LSTM 기반 베이스라인(상위 5개에서 정밀도: 0.640 대비 0.633)을 능가하는 성능을 보이며, 주의력 해석 가능성과 다중선택형 질문-답변 작업을 통해 임상적 추론 능력을 입증한다.

ABSTRACT

The data available in Electronic Health Records (EHRs) provides the opportunity to transform care, and the best way to provide better care for one patient is through learning from the data available on all other patients. Temporal modelling of a patient's medical history, which takes into account the sequence of past events, can be used to predict future events such as a diagnosis of a new disorder or complication of a previous or existing disorder. While most prediction approaches use mostly the structured data in EHRs or a subset of single-domain predictions and outcomes, we present MedGPT a novel transformer-based pipeline that uses Named Entity Recognition and Linking tools (i.e. MedCAT) to structure and organize the free text portion of EHRs and anticipate a range of future medical events (initially disorders). Since a large portion of EHR data is in text form, such an approach benefits from a granular and detailed view of a patient while introducing modest additional noise. MedGPT effectively deals with the noise and the added granularity, and achieves a precision of 0.344, 0.552 and 0.640 (vs LSTM 0.329, 0.538 and 0.633) when predicting the top 1, 3 and 5 candidate future disorders on real world hospital data from King's College Hospital, London, UK ( extasciitilde600k patients). We also show that our model captures medical knowledge by testing it on an experimental medical multiple choice question answering task, and by examining the attentional focus of the model using gradient-based saliency methods.

연구 동기 및 목표

• 비구조화된 EHR 내 임상 내역에서 향후 의료 사건을 예측할 수 있는 일반 목적의 모델을 개발하는 것.
• 기존 모델이 구조화된 EHR 데이터에만 의존하거나 예측 범위가 좁은 제한점을 극복하는 것.
• 자유형식 임상 노트를 표준화된 순차적 의료 개념으로 변환함으로써 환자의 병력에 대한 시간적 모델링을 가능하게 하는 것.
• 모델이 차별 진단 추론과 주의력 해석 가능성 등을 통해 의료 지식을 어떻게 캡처하는지 평가하는 것.
• 기울기 기반 샐리언시 방법을 활용해 예측에 영향을 미친 임상적으로 관련성이 높은 토큰을 환자 시간선에서 강조함으로써 예측의 해석 가능성을 제공하는 것.

제안 방법

• 비구조화된 EHR 텍스트에서 명명된 실체 인식 및 연결(NER+L)을 수행하기 위해 MedCAT을 활용하여 임상 용어를 표준화된 의료 온톨로지로 매핑하는 것.
• 시간적 메타데이터를 기반으로 의료 개념을 순차적으로 정렬함으로써 환자의 병력에 대한 순차적 표현을 구성하는 것.
• 자기회귀적 예측을 가능하게 하기 위해 GPT-2 기반의 인과적 언어모델링(CL) 아키텍처를 사용하여 시퀀스 내 다음 의료 개념을 예측하는 것.
• 마스크된 언어 모델링으로의 사전학습 없이, 목표 작업인 향후 장애 예측에 대해 엔드 투 엔드로 모델을 훈련하는 것.
• 기울기 기반 샐리언시 방법을 적용하여 주의력 가중치를 해석하고 각 예측에 영향을 미친 환자 시간선 내 가장 영향력 있는 토큰을 식별하는 것.
• 실제 EHR 데이터(킹스 칼리지 병원, 약 600,000명의 환자)를 사용하여 상위 1, 3, 5개 예측에서의 정밀도를 측정함으로써 모델 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 비구조화된 EHR 데이터에 의존하지 않고도 트랜스포머 기반 모델이 비구조화된 임상 내역에서 향후 의료 장애를 효과적으로 예측할 수 있는가?
• RQ2 MedGPT의 성능은 상위 1, 3, 5개 후보 순위에서 LSTM 기반 베이스라인과 비교해 어떻게 다른가?
• RQ3 다중선택형 시나리오에서 희귀하거나 맥락에 따라 달라지는 진단을 올바르게 선택함으로써 MedGPT가 얼마나 임상적 추론 능력을 보여주는가?
• RQ4 기울기 기반 샐리언시 방법을 통해 예측에 영향을 미치는 임상적으로 관련성이 높은 토큰(예: 증상, 공존 질환)를 식별할 수 있는가?
• RQ5 주의력 메커니즘을 통해 질환과 합병증 간의 관계와 같은 관계 기반 의료 지식을 MedGPT가 캡처하는가?

주요 결과

• MedGPT는 실제 EHR 데이터에서 상위 5개 장애 예측에서 정밀도 0.640을 달성하여 LSTM 기반 베이스라인(0.633)을 능가한다.
• 상위 1, 3, 5 순위에서 각각 정밀도 0.344, 0.552, 0.640을 기록하여 다양한 평가 기준에서 뛰어난 성능을 보였다.
• 다중선택형 진단 과제에서 4개 테스트 케이스 중 4개에서 가장 가능성이 높은 진단을 정확히 식별하였으며, 오답 선택지와 간접 추론이 필요한 복잡한 시나리오에서도 성공했다.
• 기울기 기반 샐리언시 분석을 통해 '케토산증', '다리 궤양', '49세'와 같은 임상적으로 관련성이 높은 토큰이 당뇨병 관련 합병증 예측에 매우 중요한 영향을 미친 것으로 나타났다.
• 모델는 혼동 요소가 많거나 일반적인 공존 질환 존재하더라도 희귀 진단인 선천성 낭종 신장질환 및 약물 유도 파킨슨병과 같은 진단을 정확히 식별하는 데 있어 강건성을 보였다.
• 주의력 맵 분석 결과, MedGPT는 시간적으로 관련성 있고 임상적으로 의미 있는 사건에 집중함을 보여주어 의료 지식과 시간적 추론을 효과적으로 캡처하고 있음을 시사했다.