[논문 리뷰] Development of deep learning algorithms to categorize free-text notes pertaining to diabetes: convolution neural networks achieve higher accuracy than support vector machines

Boyi Yang, Adam Wright|arXiv (Cornell University)|2018. 09. 16.

Machine Learning in Healthcare참고 문헌 17인용 수 3

한 줄 요약

이 연구는 전자 건강 기록(EHR) 내 당뇨병 관련 노트를 분류하기 위해 딥러닝 모델—특히 합성곱 신경망(CNNs)—를 개발하고 평가한다. 브라운 대학 병원에서 2,000건, 텍사스 대학교 의료진에서 1,000건의 수동으로 주석 처리된 EHR 노트를 사용하여, 분리형 CNN 모델은 내부 테스트 세트에서 AUC 0.975를 기록했고, 외부 검증에서는 0.875를 기록하여, 내부 정확도에서는 서포트 벡터 머신(SVMs)을 능가했지만 기관 간 일반화 능력에서의 상충 관계를 보였다.

ABSTRACT

Health professionals can use natural language processing (NLP) technologies when reviewing electronic health records (EHR). Machine learning free-text classifiers can help them identify problems and make critical decisions. We aim to develop deep learning neural network algorithms that identify EHR progress notes pertaining to diabetes and validate the algorithms at two institutions. The data used are 2,000 EHR progress notes retrieved from patients with diabetes and all notes were annotated manually as diabetic or non-diabetic. Several deep learning classifiers were developed, and their performances were evaluated with the area under the ROC curve (AUC). The convolutional neural network (CNN) model with a separable convolution layer accurately identified diabetes-related notes in the Brigham and Womens Hospital testing set with the highest AUC of 0.975. Deep learning classifiers can be used to identify EHR progress notes pertaining to diabetes. In particular, the CNN-based classifier can achieve a higher AUC than an SVM-based classifier.

연구 동기 및 목표

• 자유형 텍스트 EHR 노트의 당뇨병 관련 분류를 정확하게 수행할 수 있는 딥러닝 모델을 개발한다.
• 전통적인 서포트 벡터 머신(SVMs)과 비교하여 합성곱 신경망(CNNs), 순환 신경망(RNNs), 하이브리드 모델의 성능을 평가한다.
• 다른 기관에서의 외부 데이터셋을 활용한 검증을 통해 모델의 일반화 능력을 평가한다.
• 딥러닝 모델이 정확도를 높일 수 있는 동시에 실용적인 구현 가능성을 유지할 수 있는지 확인한다.

제안 방법

• 연구는 브라운 대학 병원에서 2,000건의 수동 주석 처리된 EHR 진행 노트(학습용 1,000건, 테스트용 1,000건)를 사용하였으며, 추가로 텍사스 대학교 의료진의 1,000건의 노트를 외부 검증용으로 활용하였다.
• 텍스트는 단어-번호 인덱스 매핑을 사용하여 토큰화하고 인코딩하였으며, 총 20,218개의 고유 단어로 구성된 어휘를 확보하였다.
• 표준 CNN, 분리형 CNN, RNN, 하이브리드 CNN-RNN 모델을 포함한 여러 딥러닝 아키텍처를 훈련하였으며, 단어 임베딩을 입력으로 사용하였다.
• 모델 성능은 ROC 곡선 아래 면적(AUC)을 사용하여 평가하였으며, 검증 손실 기반 조기 정지 기법을 적용하였다.
• 분리형 CNN(Model g)는 속도와 정확도의 최적 균형을 확보하기 위해 최적화되었으며, 성능과 추론 시간 간의 최상의 균형을 달성하였다.
• 재현 가능성을 확보하기 위해 NumPy 및 텐서플로우 수준에서 고정된 랜덤 시드를 사용하여 하이퍼파라미터를 튜닝하였다.

실험 결과

연구 질문

• RQ1 딥러닝 모델, 특히 CNN이 전통적인 SVM보다 당뇨병 관련 EHR 노트 분류에서 슈퍼어리어를 달성할 수 있는가?
• RQ2 브라운 대학 병원에서의 내부 테스트 성능과 텍사스 대학교 의료진에서의 외부 검증 성능 간의 성능 차이는 어떻게 변화하는가?
• RQ3 CNN과 RNN을 조합함으로써(예: 양방향 LSTM) 전문화된 EHR 텍스트 분류 성능이 향상되는가?
• RQ4 다른 임상 노트 작성 스타일을 가진 기관 간에 딥러닝 모델의 일반화 능력은 어느 정도인가?
• RQ5 표준 합성곱과 비교하여 분리형 합성곱이 정확도와 추론 속도 양면에서 향상시킬 수 있는가?

주요 결과

• 분리형 CNN 모델(Model g)은 브라운 대학 병원 데이터셋에서 최고의 테스트 AUC 0.975를 기록하여 SVM 기준선을 크게 앞섰다.
• 텍사스 대학교 의료진의 외부 검증 세트에서 최고의 CNN 모델은 AUC 0.875를 기록하였으며, 내부 성능에 비해 낮았지만 여전히 SVM의 일반화 성능를 뛰어넘었다.
• RNN 기반 모델, 특히 양방향 LSTM는 순수 CNN보다 성능 향상이 없었으며, 전문화된 EHR 텍스트의 이진 분류에 있어 덜 효과적이었다.
• CNN 뒤에 LSTM 레이어를 추가해도 성능 향상이 없었으며, 하이브리드 CNN-RNN 모델은 이 데이터셋에서 상호보완적 이점을 보이지 않았다.
• BWH 데이터로 훈련된 CNN 모델은 해당 기관의 특수한 노트 작성 패턴을 포착하여 내부 정확도를 높였지만, 다른 기관으로의 일반화 능력을 저하시켰다.
• 낮은 일반화 능력에도 불구하고, CNN 모델은 내부에서 SVM보다 빠르고 정확했으며, 표준 랩탑에서 161초 내로 훈련을 완료하였다.