[논문 리뷰] Multi-Label Learning from Medical Plain Text with Convolutional Residual Models

Xinyuan Zhang, Ricardo Henao외 3명|arXiv (Cornell University)|2018. 01. 15.

Text and Document Classification Technologies인용 수 19

한 줄 요약

이 논문은 임상 노트에서 다중 레이블 진단 예측을 위한 컨볼루션 리스크 네트워크를 제안한다. 이 모델은 의료 텍스트 표현을 위한 CNN 인코더와 레이블 간 종속성을 모델링하기 위한 딥 리스크 분류기를 결합한다. 다양한 지표에서 베이스라인을 능가하며, 장기간이고 노이즈가 많은 의사 노트에서 의미적 구조와 공존 패턴을 효과적으로 포착함으로써 EHR 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Predicting diagnoses from Electronic Health Records (EHRs) is an important medical application of multi-label learning. We propose a convolutional residual model for multi-label classification from doctor notes in EHR data. A given patient may have multiple diagnoses, and therefore multi-label learning is required. We employ a Convolutional Neural Network (CNN) to encode plain text into a fixed-length sentence embedding vector. Since diagnoses are typically correlated, a deep residual network is employed on top of the CNN encoder, to capture label (diagnosis) dependencies and incorporate information directly from the encoded sentence vector. A real EHR dataset is considered, and we compare the proposed model with several well-known baselines, to predict diagnoses based on doctor notes. Experimental results demonstrate the superiority of the proposed convolutional residual model.

연구 동기 및 목표

• 전자 건강 기록(EHR)의 비정형 의사 노트에서 다중 레이블 진단 예측의 과제를 해결하기 위해, 환자들이 종종 다수의 공존 질환을 가진다는 점을 고려한다.
• 기존 방법이 레이블 간 독립성을 가정하여 공존 패턴을 포착하지 못하므로, 레이블 간 종속성을 모델링함으로써 성능을 향상시키고자 한다.
• 장기간이고 노이즈가 많은 임상 텍스트를 효과적으로 인코딩하면서 의미적 및 문법적 구조를 유지하는 딥 러닝 아키텍처를 개발하고자 한다.
• 리스크 네트워크가 문장 수준의 표현과 학습된 레이블 상관관계를 통합함으로써 다중 레이블 분류 성능을 향상시킨다는 것을 보여주고자 한다.
• 실제 EHR 데이터셋을 대상으로 모델을 검증하고, CNN, Bi-LSTM, 트리 기반 방법을 포함한 여러 강력한 베이스라인과 비교하고자 한다.

제안 방법

• 일반 텍스트로 된 의사 노트를 고정 길이의 문장 임베딩으로 인코딩하기 위해 컨볼루션 신경망(CNN)을 사용하며, 국소적 의미와 단어 순서를 포착한다.
• CNN 인코더 위에 딥 리스크 네트워크를 스택하여, 더 깊은 아키텍처의 학습이 가능하고 레이블 간 종속성을 모델링할 수 있도록 단순 연결(shortcut connections)을 활용한다.
• 리스크 네트워크는 인코딩된 문장 벡터의 정보를 통합하고, 레이블 간 동시 발생 패턴을 포착함으로써 다수의 진단을 동시에 예측한다.
• 다중 레이블 분류를 위해 교차 엔트로피 손실와 시그모이드 활성화 함수를 사용하여 엔드 투 엔드로 모델을 훈련한다. 이는 각 진단을 독립적으로 예측할 수 있도록 한다.
• 학습된 문장 임베딩의 품질을 평가하기 위해 t-SNE 시각화를 사용하였으며, 의미적으로 유사한 진단들이 군집되어 있음을 확인하였다.
• 성능과 수렴 속도에 대한 영향을 분석하기 위해 잔차 레이어 깊이(1에서 8까지)를 다양하게 설정하여 아키텍처를 평가하였다.

실험 결과

연구 질문

• RQ1 장기간이고 노이즈가 많은 임상 노트에서 의미적 의미를 포착하는 데 있어, 전통적인 백오브워즈와 LSTM 기반 표현보다 CNN 기반 문장 인코더가 더 우수한가?
• RQ2 딥 리스크 네트워크를 통해 레이블 간 종속성을 통합하면, 독립적인 레이블 예측에 비해 다중 레이블 진단 예측 정확도가 향상되는가?
• RQ3 잔차 네트워크의 깊이가 다중 레이블 EHR 분류에서 성능, 수렴 속도, 일반화 능력에 어떤 영향을 미치는가?
• RQ4 제안된 모델이 공존 빈도가 높은 진단에 대해 얼마나 효과적으로 공존 패턴을 활용하는가?
• RQ5 성능 향상 요인이 모델 용량 증가 때문인지, 아니면 잔차 연결의 아키텍처 혁신 때문인가?

주요 결과

• 8층 컨볼루션 리스크 모델은 ehr1000 검증 세트에서 P@1 60.30%, P@3 31.21%, P@5 21.27%, nDCG@3 80.21%, nDCG@5 80.17%, AUC 94.89%로 모든 지표에서 최고 성능을 기록하였다.
• 8층 잔차 레이어를 가진 모델는 단순 8층 CNN(8.99% P@1)보다 뛰어난 성능을 보였으며, 이는 잔차 연결이 깊이 외에도 성능 향상에 핵심적인 역할을 한다는 것을 시사한다.
• 잔차 모델은 얕은 변형보다 더 빠르게 수렴하였으며, 1층 잔차 모델이 38 에포크가 필요한 데 비해 25 에포크만에 수렴하였다.
• ehr64-all 데이터셋에서 8층 잔차 모델의 AUC(0.942)는 표준 CNN(0.923)보다 유의미하게 높았으며, 64개 진단 중 59개에서 AUC가 향상되었다.
• t-SNE 시각화 결과, 문장 임베딩이 진단 기반으로 군집되어 있음을 확인하였으며, 의미적으로 유사한 질환들(예: 두통과 편두통)이 함께 그룹화되어 있었다.
• 공존 빈도가 높은 진단(예: 고혈당증, 저혈압, 고칼륨혈증, 요로 감염, 발열 등)에 대해 모델이 가장 큰 성능 향상을 보였으며, 이는 레이블 간 종속성을 효과적으로 모델링했다는 것을 시사한다.