[논문 리뷰] Seeing The Whole Patient: Using Multi-Label Medical Text Classification Techniques to Enhance Predictions of Medical Codes

Vithya Yogarajan, Jacob Montiel외 2명|arXiv (Cornell University)|2020. 03. 29.

Biomedical Text Mining and Ontologies참고 문헌 40인용 수 4

한 줄 요약

이 논문은 다중질환 환자의 ICD-9 코드 예측을 위한 다중 레이블 의료 텍스트 분류를 향상시키기 위해 고차원적이고 건강 분야에 최적화된 워드 임베딩—특히 600차원의 스킵그램 모델—을 제안한다. 이는 특히 희귀한 의료 코드에서 F-측도를 크게 향상시키며, 탈식별된 EHR 데이터에서 텍스트 전처리의 이점이 미미함을 보여준다.

ABSTRACT

Machine learning-based multi-label medical text classifications can be used to enhance the understanding of the human body and aid the need for patient care. We present a broad study on clinical natural language processing techniques to maximise a feature representing text when predicting medical codes on patients with multi-morbidity. We present results of multi-label medical text classification problems with 18, 50 and 155 labels. We compare several variations to embeddings, text tagging, and pre-processing. For imbalanced data we show that labels which occur infrequently, benefit the most from additional features incorporated in embeddings. We also show that high dimensional embeddings pre-trained using health-related data present a significant improvement in a multi-label setting, similarly to the way they improve performance for binary classification. High dimensional embeddings from this research are made available for public use.

연구 동기 및 목표

• 다중질환 환자에서 동시 발생하는 여러 의료 코드(Icd-9)의 예측을 다중 레이블 텍스트 분류를 통해 향상시키기 위해.
• 다양한 임베딩 기법—특히 차원 수와 아키텍처(Skip-gram 대비 CBOW)—이 비균형 의료 텍스트 데이터에서 성능에 미치는 영향을 조사하기 위해.
• 자유형 임상 텍스트의 전처리가 탈식별 데이터셋인 MIMIC-III와 같이 분류 성능에 미치는 영향을 평가하기 위해.
• 다양한 태깅 전략(예: 품사 태깅, 텍스트 분할 태깅)과 분류기 설정이 다중 레이블 의료 NLP 작업에서 미치는 영향을 평가하기 위해.
• 더 넓은 연구 목적을 위해 공개 가능한 고품질의 사전 학습된 의료 텍스트 임베딩를 제공하기 위해.

제안 방법

• 탈식별된 임상 노트에서 MIMIC-III 데이터셋을 사용해 스킵그램 및 CBOW 모델을 훈련시켰으며, 다양한 임베딩 차원 수(300, 600)와 사전학습 전략을 적용하였다.
• ICD-9 코드 예측을 위한 다중 레이블 분류 프레임워크를 구축하기 위해 로지스틱 회귀와 엘라스틱 넷 정규화(ECC)를 기본 분류기로 사용하였다.
• 다양한 임베딩 변형을 탐색: W300(Word2Vec), T300/T600(fastText, 300/600차원), CONCAT300/350(결합 임베딩), 그리고 품사 태깅 또는 텍스트 분할 태깅이 추가된 임베딩.
• 18개, 50개, 155개의 ICD-9 코드 레이블에서 마이크로 및 매크로 평균 F1 스코어를 적용하여 성능을 평가하였으며, 레이블 빈도별 별도 분석을 수행하였다.
• 텍스트 전처리(토큰화, 2500 토큰으로 자르기)를 적용한 텍스트와 원본 텍스트를 비교하여 탈식별된 EHR에서 전처리의 유용성을 평가하였다.
• 태깅 방법과 임베딩 유형에 대한 아블레이션 연구를 수행하여 특정 설계 선택이 성능 향상에 기여한 정도를 분리 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 임베딩 아키텍처(예: 스킵그램 대비 CBOW)는 희귀 및 공통 ICD-9 코드에서 다중 레이블 의료 텍스트 분류 성능에 어떤 영향을 미치는가?
• RQ2 임베딩 차원 수를 증가시킬 경우(예: 300 대비 600), 특히 희귀하게 발생하는 의료 코드에서 F-측도 향상 정도는 어느 정도인가?
• RQ3 자유형 임상 텍스트의 전처리(예: 토큰화, 자르기)는 원본 텍스트를 사용할 때와 비교해 F-측도 향상에 유의미한 기여를 하는가?
• RQ4 다양한 태깅 전략(품사 태깅, 텍스트 분할 태깅)은 다중 레이블 의료 텍스트 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ5 다양한 임베딩 유형을 결합하는 것(예: CONCAT300)은 다중질환 예측 작업에서 전체 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 600차원 임베딩를 사용한 스킵그램 모델(T600SG)은 모든 레이블 세트(18, 50, 155)에서 최고의 마이크로 및 매크로 평균 F1 스코어를 기록하였으며, 155레이블 작업에서 매크로 F1 스코어는 0.674를 기록하였다.
• 희귀 ICD-9 코드, 예를 들어 410.71(0.332에서 0.404로 상승) 및 410.70(0.329에서 0.404로 상승)의 경우, 고차원 임베딩(T600SG)이 상대적으로 가장 큰 향상을 이끌었다.
• 임상 텍스트의 전처리(예: 2500 토큰으로 자르기 또는 표준 토큰화)는 원본 텍스트를 사용할 때와 비교해 F-측도 향상이 미미하여, 이미 탈식별된 데이터에서는 전처리의 이점이 거의 없음을 시사한다.
• T300 임베딩는 모든 레이블 세트에서 W300을 능가했으며, 매크로 F1 스코어에서 각각 18개 레이블일 때 0.005, 50개일 때 0.011, 155개일 때 0.013 향상되었으며, 이는 고차원 임베딩가 일관되게 더 나은 성능을 낸다는 것을 의미한다.
• 텍스트 분할 태깅(TextSplitTag)을 사용한 T300 임베딩는 155레이블 작업에서 매크로 F1 스코어를 0.684로 끌어올렸으며, 표준 품사 태깅(0.646)보다 뛰어난 성능을 보였다. 이는 구조화된 태깅이 표현을 향상시킬 수 있음을 시사한다.
• 최고 성능을 기록한 모델(T600SG)은 155레이블 작업에서 마이크로 F1 스코어 0.745, 매크로 F1 스코어 0.674를 기록하였으며, 이는 고차원적이고 건강 분야에 최적화된 임베딩가 다중질환 환경에서 다중 레이블 예측 성능을 크게 향상시킬 수 있음을 입증한다.