[논문 리뷰] Improved Hierarchical Patient Classification with Language Model Pretraining over Clinical Notes

Jonas Kemp, Alvin Rajkomar외 1명|arXiv (Cornell University)|2019. 09. 06.

Machine Learning in Healthcare참고 문헌 50인용 수 12

한 줄 요약

이 논문은 전자 건강 기록(EMR) 내 임상 노트 이해를 향상시키기 위해 언어 모델 미사전학습을 통한 계층적 순환 신경망(SHiP)을 제안한다. 순서 구조를 유지하고 노트 텍스트에 대한 미사전학습을 활용함으로써, MIMIC-III 데이터셋에서 계층적 진단 분류 작업에서 최신 기술 수준의 성능을 달성하였으며, 문맥을 忽시하거나 미사전학습을 생략하는 기준 모델 대비 AUROC 및 재현율 지표에서 뚜렷한 향상을 보였다.

ABSTRACT

Clinical notes in electronic health records contain highly heterogeneous writing styles, including non-standard terminology or abbreviations. Using these notes in predictive modeling has traditionally required preprocessing (e.g. taking frequent terms or topic modeling) that removes much of the richness of the source data. We propose a pretrained hierarchical recurrent neural network model that parses minimally processed clinical notes in an intuitive fashion, and show that it improves performance for discharge diagnosis classification tasks on the Medical Information Mart for Intensive Care III (MIMIC-III) dataset, compared to models that treat the notes as an unordered collection of terms or that conduct no pretraining. We also apply an attribution technique to examples to identify the words that the model uses to make its prediction, and show the importance of the words' nearby context.

연구 동기 및 목표

• 예측 모델링에서 종종 忽시되거나 과도하게 단순화되는 이질적이고 비정형적인 임상 노트 문제를 해결하기 위해.
• 정제된 전처리 없이도 임상 노트의 순서적 및 문맥적 정보를 유지함으로써 계층적 환자 분류를 향상시키기 위해.
• 계층적 딥 러닝 프레임워크 내에서 임상 노트의 표현 학습을 향상시키기 위해 언어 모델 미사전학습의 효과를 평가하기 위해.
• 기여도 기법을 활용해 모델 예측을 해석하여 영향을 미치는 핵심 단어 및 어구를 식별하기 위해.
• 미사전학습과 계층적 모델링이 함께 작용할 경우, 하류 임상 예측 작업에서 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 모델은 단어 순서를 유지하면서 관련 세그먼트에 집중하기 위해 주의 메커니즘을 적용하는 계층적 주의 네트워크를 사용하여 임상 노트를 처리한다.
• 노트 토큰에 대해 양방향 LSTM을 적용하여 문맥에 민감한 표현을 생성하고, 계층적 주의 메커니즘이 이를 하나의 노트 임베딩으로 집계한다.
• 노트 수준의 LSTM에 언어 모델 미사전학습 목표를 적용하여, 이후 단어(양방향 경우 이전 단어)를 예측하도록 훈련한 후, 종단 간 최적화를 수행한다.
• 노트 임베딩을 구조적 EHR 특성(예: 진단, 검사 결과)과 함께 고정된 시간 간격으로 묶어 통합함으로써 시퀀스 길이를 줄인다.
• 경로 통합 기반 기여도 방법을 사용하여, 영점 기반 벡터와 20단계 통합을 기준으로 단어 수준의 중요도 점수를 계산한다.
• 환자 병력 인코더(LSTM을 시간별로 묶인 특성에 적용)와 노트 전용 인코더(LSTM + 주의)를 결합한 아키텍처를 구성하며, 예측 손실을 공동으로 최적화한다.

실험 결과

연구 질문

• RQ1 비미사전학습 또는 단어 집합 기반 기준 모델 대비 언어 모델 미사전학습이 임상 노트의 계층적 분류 성능을 향상시키는가?
• RQ2 임상 노트의 순서적 구조를 유지할 경우, 순서 없는 용어 집합으로 간주하는 것보다 더 나은 예측 성능을 낼 수 있는가?
• RQ3 기여도 기법을 통해 드러난 특정 단어와 그 국소적 문맥이 모델 예측에 어떻게 영향을 미치는가?
• RQ4 임상 노트 모델링에서 최적의 시퀀스 길이, 묶기 간격, 미사전학습 스케줄링 조합은 무엇인가?
• RQ5 이 맥락에서 양방향 모델링이 단방향 모델링보다 더 높은 성능을 낼 수 있는가?

주요 결과

• SHiP 모델은 가중 다중라벨 ICD-9 진단 작업에서 AUROC 0.889(±0.002)를 달성하여, 비미사전학습 계층적 모델(0.869)과 BOW 기준 모델을 모두 앞섰다.
• 주요 CCS 진단의 경우, 8시간 묶기로 설정한 SHiP 모델은 상위 1위 재현율 0.671(±0.004)을 기록했으며, 비미사전학습 모델 대비 0.591보다 높았다.
• 양방향 SHiP 모델은 주요 CCS 작업에서 단방향 버전 대비 상위 1위 재현율 0.012 포인트 높고, AUROC도 0.008 포인트 높았다.
• 24시간 또는 퇴원 시까지 미사전학습을 수행한 결과, 거의 동일한 성능(AUPRC 0.478 대 0.479)을 기록하여, 조기 미사전학습이 충분함을 시사했다.
• 기여도 분석을 통해 모델 예측이 단어와 그 즉각적 문맥에 크게 의존하는 것으로 확인되어, 국소적 언어적 구조의 중요성을 확인했다.
• 노트에 대해 2500토큰으로 잘라내는 모델이 1000토큰으로 잘라내는 모델보다 더 뛰어난 성능을 보였으며, 특히 진단 작업에서 두드러져 더 긴 문맥 정보가 성능 향상에 기여함을 시사했다.