[논문 리뷰] ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission

Kexin Huang, Jaan Altosaar외 1명|arXiv (Cornell University)|2019. 04. 10.

Machine Learning in Healthcare참고 문헌 33인용 수 612

한 줄 요약

ClinicalBERT는 임상 노트를 바탕으로 BERT를 사전 학습하여 임상 텍스트의 연속 표현을 만들고, 30일 내 병원 재입원을 예측하기 위해 미세 조정하며, 베이스라인을 능가하고 주의(attention)을 통한 해석 가능성을 제공합니다. 이 모델은 학습/평가 스크립트와 함께 오픈 소스화되어 있습니다.

ABSTRACT

Clinical notes contain information about patients that goes beyond structured data like lab values and medications. However, clinical notes have been underused relative to structured data, because notes are high-dimensional and sparse. This work develops and evaluates representations of clinical notes using bidirectional transformers (ClinicalBERT). ClinicalBERT uncovers high-quality relationships between medical concepts as judged by humans. ClinicalBert outperforms baselines on 30-day hospital readmission prediction using both discharge summaries and the first few days of notes in the intensive care unit. Code and model parameters are available.

연구 동기 및 목표

• 임상 노트가 임상 데이터를 기반으로 학습된 BERT 기반 모델로 효과적으로 표현될 수 있음을 시연한다.
• 입원 중 여러 시점에서 ClinicalBERT의 30일 재입원 예측 성능을 평가한다.
• ClinicalBERT가 의학 개념 간 임상적으로 의미 있는 관계를 포착하는지 보여준다.
• 주의 메커니즘을 통한 해석 가능한 예측을 제공하고 재현을 위한 오픈 소스 자원을 공개한다.

제안 방법

• 임상 노트에서 BERT를 사전 학습하여 마스크된 언어 모델링(masked language modeling)과 다음 문장 예측(next sentence prediction) 목표를 갖는 ClinicalBERT를 만든다.
• CLS 표현을 선형 분류기로 사용하여 재입원 예측 작업에 ClinicalBERT를 미세 조정한다.
• 긴 노트와 많은 노트를 다루기 위해 시퀀스를 연결하고 부분 시퀀스의 예측을 집계한다(최대/평균 및 스케일링 인자).
• 임상적으로 관련 있는 지표를 사용하여 평가한다: AUROC, AUPRC, 및 RP80(정밀도 80%에서의 재현율).
• Bag-of-Words, Word2Vec를 사용하는 bi-LSTM, 비임상 텍스트로 사전 학습된 표준 BERT와의 비교; 해석 가능성을 위해 주의(attention)를 분석한다.
• ClinicalBERT 파라미터와 학습/평가 스크립트를 오픈 소스화한다.

실험 결과

연구 질문

• RQ1 임상 노트를 사전 학습한 BERT 기반 모델이 표준 언어 모델에 비해 30일 재입원 예측을 개선할 수 있는가?
• RQ2 초기 노트 대 discharge 요약 등 서로 다른 입원 시점에서 재입원에 대한 예측 신호를 제공하는가?
• RQ3 ClinicalBERT의 주의 메커니즘이 해석 가능하고 임상적으로 관련 용어를 나타내는가?
• RQ4 장문의 임상 노트를 모델링하는 것이 예측 성능과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• ClinicalBERT는 재입원 예측에서 discharge 요약 및 조기 입원 노트 모두에서 베이스라인을 능가한다.
• discharge 요약에서 ClinicalBERT는 AUROC 0.714±0.018, AUPRC 0.701±0.021, RP80 0.242±0.111로 베이스라인인 Bag-of-Words, bi-LSTM 및 표준 BERT보다 높다.
• ClinicalBERT 임베딩은 Word2Vec 및 FastText보다 임상의 판단과 임상 용어 유사성의 상관관계가 더 잘 나타난다.
• ClinicalBERT의 주의 가중치는 재입원을 예측하는 용어를 하이라이트하여 해석 가능성을 가능하게 한다(예: 만성/급성 심장 관련 용어 등).
• 모델은 재현성을 촉진하고 다른 임상 작업에의 적용을 용이하게 하기 위해 사전 학습 및 미세 조정 파라미터와 함께 오픈 소스화되어 있다.