[논문 리뷰] Clinical XLNet: Modeling Sequential Clinical Notes and Predicting Prolonged Mechanical Ventilation

Kexin Huang, Abhishek Singh외 5명|arXiv (Cornell University)|2019. 12. 27.

Machine Learning in Healthcare참고 문헌 27인용 수 16

한 줄 요약

이 논문은 순차적인 임상 노트의 시간적 의존성을 포착하기 위해 순열 기반 언어 모델링과 양방향 LSTM을 활용하는 딥러닝 모델인 Clinical XLNet을 소개한다. 이 모델은 장기 기계적 통기(PMV)와 90일 이코노미 모럴리티 예측에 대해 최신 기술 수준의 성능을 달성하며, PMV에 대해 AUROC 0.663, 모럴리티에 대해 AUROC 0.779를 기록한다. 이는 BERT, XLNet, ClinicalBERT를 능가하며, 시간적 맥락을 고려한 비정형 임상 텍스트의 효과적인 모델링을 통해 달성되었다.

ABSTRACT

Clinical notes contain rich data, which is unexploited in predictive modeling compared to structured data. In this work, we developed a new text representation Clinical XLNet for clinical notes which also leverages the temporal information of the sequence of the notes. We evaluated our models on prolonged mechanical ventilation prediction problem and our experiments demonstrated that Clinical XLNet outperforms the best baselines consistently.

연구 동기 및 목표

• 비록 비정형 임상 노트에 풍부한 임상 정보가 담겨 있음에도 불구하고 그들이 예후 모델링에서 부적절하게 활용되고 있는 문제를 해결하기 위해.
• 기존 모델들이 임상 노트의 시간적 순서를 忽略하고, 사전 훈련-微調整 불일치 문제를 겪는 한계를 극복하기 위해.
• 실제 ICU 의사결정 시간 틀을 반영하기 위해, 기계적 통기 시작 후 48시간 이내에 이용 가능한 노트들만 사용하는 임상적으로 현실적인 예측 프레임워크를 개발하기 위해.
• XLNet의 순열 기반 언어 모델링을 임상 분야에 적응시켜 임상 노트 표현을 향상시키기 위해.
• 임상 노트의 시간적 동역학을 통합할 경우, PMV 및 모럴리티와 같은 심각한 임상 결과 예측 성능이 향상됨을 입증하기 위해.

제안 방법

• MIMIC-III 데이터셋에서 확보한 익명화된 임상 노트의 대규모 코퍼스에 대해 XLNet의 순열 기반 자동회귀 언어 모델링을 미세조정하여 도메인 특화 임베딩을 생성한다.
• 노트 임베딩의 연속적 순서를 유지하고 이를 양방향 LSTM에 입력하여 순차적 노트 간의 시간적 의존성을 모델링한다.
• 사전 훈련 중에 모든 토큰 위치 순열을 고려하는 마스킹 언어 모델링 목표를 사용하여, BERT에서 관찰되는 사전 훈련-微조정 불일치 문제를 감소시킨다.
• LSTM 레이어에서 유도된 환자 수준의 임베딩을 기반으로 최종 분류 헤드를 훈련시켜 PMV 및 90일 이코노미 모럴리티를 예측한다.
• 임상의의 참여를 통해 철저한 코hort 정제를 실시하여, 기계적 통기 후 48시간 이내에 발생한 임상적으로 관련성이 있는 시간 제약 노트들만 예측에 사용한다.
• 평가를 위해 세 개의 독립된 데이터 분할을 사용하며, 정확도를 보장하기 위해 평균 AUROC와 표준편차를 보고한다.

실험 결과

연구 질문

• RQ1 도메인 적응된 XLNet 모델이 ICU 예후 맥락에서 표준 BERT 및 ClinicalBERT에 비해 임상 노트 표현을 향상시킬 수 있는가?
• RQ2 임상 노트의 시간적 순서를 모델링하는 것이 장기 기계적 통기 및 모럴리티 예측 성능을 유의미하게 향상시키는가?
• RQ3 기계적 통기 시작 후 48시간 이내에 이용 가능한 노트들만 사용하는 임상적으로 현실적인 예측 설정이 향상되고도 실용적인 결과를 낼 수 있는가?
• RQ4 순열 기반 사전 훈련과 양방향 LSTM을 통한 순차적 모델링의 조합이 시간적 맥락 없이 노트 수준 임베딩을 집계하는 모델에 비해 어떻게 비교되는가?
• RQ5 일반 도메인 사전 훈련 또는 사전 훈련 없이 사전 훈련한 모델에 비해, 임상 노트에서 사전 훈련하는 것이 최종 성능 향상에 얼마나 기여하는가?

주요 결과

• Clinical XLNet는 장기 기계적 통기 예측에 대해 AUROC 0.663 ± 0.011을 기록하여 ClinicalBERT(0.648 ± 0.011)와 BERT(0.616 ± 0.022)를 능가했다.
• 90일 이코노미 모럴리티 예측에 대해 Clinical XLNet는 AUROC 0.779 ± 0.006을 기록하여 ClinicalBERT(0.774 ± 0.006)와 XLNet(0.664 ± 0.017)를 초월했다.
• 추론 분석 결과, 양방향 LSTM를 통한 시간적 모델링(Clinical XLNet)이 노트 임베딩 평균화(Clinical XLNet-mean)보다 유의미하게 성능 향상을 이끌었다. 이 경우 PMV에 대해 AUROC 0.656 ± 0.003를 기록했다.
• Clinical XLNet와 ClinicalBERT 간의 성능 격차는 XLNet의 순열 기반 사전 훈련이 임상 텍스트 표현에 있어 우월함을 입증한다.
• 표준 NLP 모델인 BERT 및 XLNet을 임상 데이터에 미세조정한 결과보다 모델 성능이 유의미하게 뛰어나, 도메인 특화 사전 훈련의 필요성을 시사한다.
• 결과는 임상 노트의 시간적 동역학을 통합할 경우 ICU 환경에서 더 정확하고 임상적으로 실용적인 예측이 가능하다는 것을 검증한다.