[논문 리뷰] Neural Language Models with Distant Supervision to Identify Major Depressive Disorder from Clinical Notes

Bhavani Singh Agnikula Kshatriya, Nicolás A. Núñez외 7명|arXiv (Cornell University)|2021. 04. 19.

Machine Learning in Healthcare참고 문헌 33인용 수 5

한 줄 요약

이 논문은 비구조화된 임상 노트에서 주요 우울 장애(MDD) 표현형을 식별하기 위해 Bio-Clinical BERT를 사용한 원거리 감독 방법을 제안한다. 전자건강기록(EHR) 코드로부터 약한 감독을 활용함으로써 사전 훈련된 언어 모델을 적용함으로써 기존의 기계학습 모델보다 뛰어난 성능을 달성하였으며, 제한된 애너테이션 데이터가 존재하는 임상 NLP 분야에서 신경망 언어 모델의 효과성을 입증한다.

ABSTRACT

Major depressive disorder (MDD) is a prevalent psychiatric disorder that is associated with significant healthcare burden worldwide. Phenotyping of MDD can help early diagnosis and consequently may have significant advantages in patient management. In prior research MDD phenotypes have been extracted from structured Electronic Health Records (EHR) or using Electroencephalographic (EEG) data with traditional machine learning models to predict MDD phenotypes. However, MDD phenotypic information is also documented in free-text EHR data, such as clinical notes. While clinical notes may provide more accurate phenotyping information, natural language processing (NLP) algorithms must be developed to abstract such information. Recent advancements in NLP resulted in state-of-the-art neural language models, such as Bidirectional Encoder Representations for Transformers (BERT) model, which is a transformer-based model that can be pre-trained from a corpus of unsupervised text data and then fine-tuned on specific tasks. However, such neural language models have been underutilized in clinical NLP tasks due to the lack of large training datasets. In the literature, researchers have utilized the distant supervision paradigm to train machine learning models on clinical text classification tasks to mitigate the issue of lacking annotated training data. It is still unknown whether the paradigm is effective for neural language models. In this paper, we propose to leverage the neural language models in a distant supervision paradigm to identify MDD phenotypes from clinical notes. The experimental results indicate that our proposed approach is effective in identifying MDD phenotypes and that the Bio- Clinical BERT, a specific BERT model for clinical data, achieved the best performance in comparison with conventional machine learning models.

연구 동기 및 목표

• 모델이 MDD 표현형을 탐지하기 위해 훈련시키는 데 필요한 애너테이션된 임상 텍스트의 제한 문제를 해결하기 위해.
• 원거리 감독이 임상 노트에서 MDD 식별을 위한 신경망 언어 모델을 효과적으로 훈련시키는 데 유용한지 조사하기 위해.
• 자유형 텍스트 임상 노트에서 MDD 표현형을 분류하는 데 있어 Bio-Clinical BERT의 성능을 전통적인 기계학습 모델과 비교하기 위해.
• 약한 레이블이 부여된 EHR 코드가 깊이 학습 모델 훈련 시 MDD 진단의 대체 수단으로 사용될 수 있는지 타당성을 평가하기 위해.

제안 방법

• 저자들은 임상 텍스트에 대해 미세조정된 도메인 적응 BERT 모델인 Bio-Clinical BERT를 사용하여 임상 노트에서 맥락적 표현을 추출한다.
• 원거리 감독은 EHR의 ICD-10 코드를 약한 레이블로 사용하여 노트를 MDD 상태와 연결함으로써 훈련 인스턴스를 생성함으로써 적용된다.
• 이중 교차 엔트로피 손실을 사용하여 약한 감독 데이터에 대해 모델을 미세조정함으로써 MDD 분류를 위한 훈련을 수행한다.
• 다중 레이블 분류 설정을 사용하여 다수의 MDD 관련 표현형 특징을 동시에 예측한다.
• 이 방법은 일반 언어 표현을 임상 언어 패턴에 적응시키기 위해 전이 학습을 활용한다.
• 성능 평가는 보류된 테스트 세트에서 AUC-ROC, F1 점수, 정확도와 같은 표준 NLP 지표를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 원거리 감독이 임상 노트에서 MDD 표현형을 분류하기 위해 신경망 언어 모델을 효과적으로 훈련시키는 데 유용한가?
• RQ2 자유형 임상 텍스트에서 MDD를 식별하는 데 있어 Bio-Clinical BERT는 전통적인 기계학습 모델보다 어떻게 비교되는가?
• RQ3 레이블이 부족한 상황에서 EHR 코드로부터의 약한 감독이 모델 성능 향상에 얼마나 기여하는가?
• RQ4 일반 도메인 BERT보다 임상 전용 BERT 모델을 미세조정하는 것이 MDD 탐지 작업에서 더 나은 성능을 내는가?
• RQ5 다양한 데이터 레이블링 전략이 임상 NLP에서 딥 러닝 모델 성능에 어떤 영향을 미치는가?

주요 결과

• Bio-Clinical BERT는 임상 노트에서 MDD 표현형을 식별하는 데 있어 기존의 기계학습 모델보다 뛰어난 성능을 보였다.
• 모델은 테스트 세트에서 AUC-ROC 점수 0.89를 기록하여 강력한 분류 성능를 입증하였다.
• ICD-10 코드를 활용한 원거리 감독은 깊이 학습 모델 훈련을 위한 고비용 수동 애너테이션의 실질적인 대안을 제공하였다.
• 임상 전용 텍스트에 대해 미세조정함으로써 일반 도메인 BERT를 사용하는 것보다 성능 향상이著명하게 향상되었다.
• 다양한 MDD 관련 표현형 특징에 걸쳐 우수한 성능를 보이며, 관련 임상 작업으로의 일반화 가능성도 입증되었다.