[논문 리뷰] Extracting Lifestyle Factors for Alzheimer's Disease from Clinical Notes Using Deep Learning with Weak Supervision

Zitao Shen, Yoonkwon Yi외 4명|arXiv (Cornell University)|2021. 01. 22.

Machine Learning in Healthcare참고 문헌 19인용 수 4

한 줄 요약

이 연구는 사전 훈련된 BERT 모델을 사용하여 비정형 알츠하이머병(AD) 임상 노트에서 신체 활동 및 과도한 다이어트와 같은 생활습관 요인을 추출하기 위한 약한 감독 기반 딥 러닝 접근법을 제안한다. 규칙 기반 레이블링을 활용해 약한 감독을 구현함으로써 높은 F1 스코어(신체 활동 0.96, 과도한 다이어트 1.00)를 달성하여 전자 건강 기록(EHR) 내 AD 위험 요인 분석을 위한 확장 가능하고 정확한 NLP의 가능성을 입증한다.

ABSTRACT

Since no effective therapies exist for Alzheimer's disease (AD), prevention has become more critical through lifestyle factor changes and interventions. Analyzing electronic health records (EHR) of patients with AD can help us better understand lifestyle's effect on AD. However, lifestyle information is typically stored in clinical narratives. Thus, the objective of the study was to demonstrate the feasibility of natural language processing (NLP) models to classify lifestyle factors (e.g., physical activity and excessive diet) from clinical texts. We automatically generated labels for the training data by using a rule-based NLP algorithm. We conducted weak supervision for pre-trained Bidirectional Encoder Representations from Transformers (BERT) models on the weakly labeled training corpus. These models include the BERT base model, PubMedBERT(abstracts + full text), PubMedBERT(only abstracts), Unified Medical Language System (UMLS) BERT, Bio BERT, and Bio-clinical BERT. We performed two case studies: physical activity and excessive diet, in order to validate the effectiveness of BERT models in classifying lifestyle factors for AD. These models were compared on the developed Gold Standard Corpus (GSC) on the two case studies. The PubmedBERT(Abs) model achieved the best performance for physical activity, with its precision, recall, and F-1 scores of 0.96, 0.96, and 0.96, respectively. Regarding classifying excessive diet, the Bio BERT model showed the highest performance with perfect precision, recall, and F-1 scores. The proposed approach leveraging weak supervision could significantly increase the sample size, which is required for training the deep learning models. The study also demonstrates the effectiveness of BERT models for extracting lifestyle factors for Alzheimer's disease from clinical notes.

연구 동기 및 목표

• 전자 건강 기록(EHR) 내 비정형 임상 노트에서 알츠하이머병(AD) 연구를 위한 생활습관 요인을 추출하는 데 도전하는 것.
• 규칙 기반 레이블링을 통한 약한 감독을 활용해 수작업 레이블링 데이터셋 생성의 노동 집약적인 비용을 줄이는 것.
• AD와 관련된 생활습관 요인을 분류하는 데 있어 여러 사전 훈련된 BERT 모델의 성능을 평가하는 것.
• 실제 EHR 데이터를 활용해 생활습관 요인과 그 연관성을 대규모로 비용 효율적으로 분석할 수 있도록 하는 것.
• 향후 AD에서 생활습관 간 interventions의 인과적 모델링을 지원하는 것.

제안 방법

• 수작업 애너테이션을 피하기 위해 규칙 기반 NLP 알고리즘을 사용해 훈련 데이터에 대한 약한 레이블을 생성함.
• 여섯 종류의 BERT 기반 모델을 미세조정: BERT base, PubMedBERT(개요 + 전체 텍스트), PubMedBERT(개요 전용), UMLS BERT, Bio-BERT, Bio-clinical BERT.
• 임상 노트에서 유래한 약한 레이블링 코퍼스를 대상으로 BERT 모델을 약한 감독 하에 훈련함.
• 두 사례 연구(신체 활동 및 과도한 다이어트)를 위해 골드 표준 코퍼스(GSC)에서 모델 성능을 평가함.
• 모델 효과성을 비교하기 위해 정밀도, 재현도, F1 스코어를 평가 지표로 사용함.
• 불균형한 클래스와 모델 민감도 문제를 해결하기 위해 오류 분류 패턴과 모델 고유의 한계를 분석함.

실험 결과

연구 질문

• RQ1 약한 감독이 생활습관 요인을 비정형 임상 노트에서 분류하는 데 있어 높은 성능를 유지하면서도 수작업 애너테이션의 필요성을 크게 줄일 수 있는가?
• RQ2 비정형 EHR 텍스트에서 신체 활동 및 과도한 다이어트 정보를 추출하는 데 있어 어떤 사전 훈련된 BERT 모델이 가장 우수한 성능를 보이는가?
• RQ3 사전 훈련 코퍼스의 차이(예: PubMed 대 비대면 임상 텍스트)가 생활습관 요인 분류 성능에 어떤 영향을 미치는가?
• RQ4 어떤 BERT 버전에서 도메인 특화 지식 부족이나 모순된 어휘 표현으로 인해 오분류가 주로 발생하는가?
• RQ5 이 접근법을 동시에 여러 생활습관 요인을 추출하도록 확장해 AD 위험 요인에 대한 상호작용 분석을 수행할 수 있는가?

주요 결과

• 신체 활동 분류에 있어 PubMedBERT(Abs) 모델이 가장 높은 성능를 보였으며, F1 스코어 0.96, 정밀도 0.96, 재현도 0.96를 기록함.
• 과도한 다이어트 분류에 있어 Bio-BERT 모델이 완벽한 성능를 보였으며, 정밀도, 재현도, F1 스코어 모두 1.00을 기록함.
• 모델 성능는 사전 훈련 코퍼스와 데이터 크기에 따라 크게 달라졌으며, 더 작은 과도한 다이어트 데이터셋(n=886)에서는 모델 간 성능 변동이 더 컸음.
• 오분류의 주요 원인은 모순된 어휘 표현(예: '신체 활동이 있음' 대비 '유산소 운동 없음')과 도메인 특화 BERT가 '없음' 또는 '정상' 케이스를 잘못 처리하는 것임.
• 이 연구는 약한 감독이 수작업 애너테이션 없이도 확장 가능한 모델 훈련을 가능하게 하여 사용 가능한 훈련 데이터를 크게 증가시킬 수 있음을 입증함.
• 전반적인 성능는 매우 우수하지만, 데이터 크기와 클래스 불균형에 대한 모델 민감도는 향후 연구에서 더 큰 균형 잡힌 데이터셋이 필요함을 시사함.