[논문 리뷰] Language Models Are An Effective Patient Representation Learning Technique For Electronic Health Record Data

Ethan Steinberg, Ken Jung외 4명|arXiv (Cornell University)|2020. 01. 06.

Machine Learning in Healthcare참고 문헌 48인용 수 10

한 줄 요약

이 논문은 전자건강기록(EHR) 데이터를 위한 임상어휘모델 기반 표현(CLMBR)을 제안하며, 대규모 어휘모델링 목표에서의 전이학습을 활용해 고정 길이의 환자 표현을 생성한다. 훈련 데이터가 부족한 상황에서 CLMBR는 평균적으로 AUROC 기준 19% 향상으로 임상예측모델 성능을 향상시킨다. 이는 카운트 기반 기준모델과 종단간 딥러닝 모델을 모두 능가하며, 특히 데이터가 적은 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Widespread adoption of electronic health records (EHRs) has fueled the development of using machine learning to build prediction models for various clinical outcomes. This process is often constrained by having a relatively small number of patient records for training the model. We demonstrate that using patient representation schemes inspired from techniques in natural language processing can increase the accuracy of clinical prediction models by transferring information learned from the entire patient population to the task of training a specific model, where only a subset of the population is relevant. Such patient representation schemes enable a 3.5% mean improvement in AUROC on five prediction tasks compared to standard baselines, with the average improvement rising to 19% when only a small number of patient records are available for training the clinical prediction model.

연구 동기 및 목표

• EHR에서 임상예측모델을 훈련할 때 데이터 부족 문제를 표현학습을 활용해 해결하고자 한다.
• 표준 기준모델과 종단간 딥러닝 모델 대비 어휘모델 기반 환자 표현이 예측 성능을 향상시킬 수 있는지 조사하고자 한다.
• 특히 데이터가 적은 상황에서 표현 품질이 모델 성능에 미치는 영향을 다양한 훈련 세트 크기에서 평가하고자 한다.
• 임상어휘모델링을 통한 전이학습이 수작업 특징공학 및 단순 카운트 기반 표현을 능가할 수 있는지 판단하고자 한다.
• CLMBR의 일반화 가능성과 다양한 임상 결과 및 데이터 환경에서의 확장 가능성을 평가하고자 한다.

제안 방법

• 저자는 대규모 EHR 코퍼스에서 임상어휘모델(CLMBR)을 훈련시켜 환자 방문 이력의 순차적 패턴을 학습한다. 이때 EHR는 자연어 시퀀스로 간주된다.
• CLMBR는 막힌 어휘모델링 목표를 사용하여 맥락에서 누락된 의료코드(예: ICD-10, CPT, LOINC)를 예측함으로써 EHR 데이터의 시간적 및 계층적 구조를 포착한다.
• 각 환자의 전체 EHR 이력을 미세조정된 CLMBR 모델을 사용해 인코딩함으로써 고정 길이의 표현을 유도한다.
• 이러한 학습된 표현은 로지스틱 회귀나 기울기 부스팅 트리와 같은 후행 임상예측모델의 입력 특징으로 사용된다.
• 이 방법은 다섯 가지 임상예측 과제에서 카운트 기반 표현(예: 빈도 벡터)과 종단간 딥뉴럴넷과 비교된다.
• 성능 평가에는 다양한 훈련 세트 크기에서 AUROC를 사용하여 데이터 효율성과 확장 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 어휘모델 기반 표현은 EHR 데이터에서 표준 기준모델 대비 임상예측모델 성능을 향상시킬 수 있는가?
• RQ2 특히 데이터가 적은 환경에서 CLMBR 표현의 성능은 훈련 데이터 크기에 따라 어떻게 변하는가?
• RQ3 어휘모델링 목표의 선택이 후행 예측 과제를 위한 환자 표현 품질에 상당한 영향을 미치는가?
• RQ4 예측 정확도와 데이터 효율성 측면에서 CLMBR 표현은 종단간 딥러닝 모델보다 어떻게 비교되는가?
• RQ5 강력한 후행 모델(예: 기울기 부스팅 트리)과 조합했을 때, 어휘모델 기반 표현은 단순 카운트 기반 특징을 능가할 수 있는가?

주요 결과

• CLMBR 표현은 표준 기준모델 대비 다섯 가지 임상예측 과제에서 평균 AUROC 3.5% 향상되었다.
• 훈련에 사용 가능한 환자 기록 수가 적을 경우 CLMBR 표현으로 인한 성능 향상은 평균적으로 AUROC 기준 19%에 이르렀다.
• 대규모 데이터 환경에서도 CLMBR 기반 모델이 종단간 딥뉴럴넷을 능가했으며, 이는 이전에 예상한 것보다 더 넓은 활용 가능성을 시사한다.
• 카운트 기반 표현을 사용할 경우 기울기 부스팅 트리가 L2 정규화 로지스틱 회귀보다 유의미하게 더 높은 성능을 보였으며, 이는 모델 선택이 보고된 성능 격차의 핵심 요소임을 시사한다.
• 충분한 데이터가 있을 경우 카운트 기반 표현과 강력한 모델을 조합하면 CLMBR에 비해 AUROC 기준 3.5% 뿐이 뒤처져 거의 최고 성능에 도달했다.
• 더 광범위한 CLMBR 모델은 이전에 발표된 임상어휘모델보다 더 나은 표현을 제공했으며, 이는 모델 아키텍처와 목표 설계의 중요성을 입증한다.