[논문 리뷰] A Meta-embedding-based Ensemble Approach for ICD Coding Prediction

Pavithra Rajendran, Alexandros Zenonos외 2명|arXiv (Cornell University)|2021. 02. 26.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 임상 노트와 외부 생물의학 자료에서 유도된 다수의 사전 훈련된 단어 임베딩을 기하학적 후처리 및 局부 선형 메타-임베딩 기법을 사용하여 융합함으로써 ICD 코드 예측 성능을 향상시키는 메타-임베딩 기반 앙상블 모델을 제안한다. 아키텍처의 복잡성 없이 ICD-9 및 ICD-10 코드 예측 작업 모두에서 성능을 향상시키며, 융합 과정에서 국소 벡터 이웃 구조를 유지함으로써 기존 베이스라인을 초월한다.

ABSTRACT

International Classification of Diseases (ICD) are the de facto codes used globally for clinical coding. These codes enable healthcare providers to claim reimbursement and facilitate efficient storage and retrieval of diagnostic information. The problem of automatically assigning ICD codes has been approached in literature as a multilabel classification, using neural models on unstructured data. Our proposed approach enhances the performance of neural models by effectively training word vectors using routine medical data as well as external knowledge from scientific articles. Furthermore, we exploit the geometric properties of the two sets of word vectors and combine them into a common dimensional space, using meta-embedding techniques. We demonstrate the efficacy of this approach for a multimodal setting, using unstructured and structured information. We empirically show that our approach improves the current state-of-the-art deep learning architectures and benefits ensemble models.

연구 동기 및 목표

• 비정형 텍스트와 구조화된 생체 정보를 포함한 다중모odal 데이터를 활용하여 임상 노트의 다중 레이블 ICD 코드 예측을 향상시키기.
• 차원 수를 증가시키지 않고 외부 생물의학 지식을 통합함으로써 임상 요약에서의 단어 임베딩을 향상시키기.
• 다양한 사전 훈련된 임베딩의 기하학적 융합이 ICD 코드 예측 성능을 향상시키는지 조사하기.
• 텍스트와 구조화된 데이터를 포함한 다수의 모odal에서의 예측을 융합하는 앙상블 모델을 개발하여 분류 성능을 향상시키기.

제안 방법

• 의미 공간을 정렬하면서 국소 이웃 구조를 유지하는 MeanDiff를 사용해 사전 훈련된 단어 임베딩(MIMIC 및 PubMed)을 후처리하기.
• 다양한 임베딩 세트를 통합하여 하나의 낮은 차원의 표현으로 만드는 국소 선형 메타-임베딩 기법 적용하기.
• 비정형 텍스트(퇴원 요약)와 구조화된 데이터(생체 정보) 각각에 대해 별도의 딥러닝 모델(CNN 등) 훈련하기.
• 모달별 모델의 예측을 메타-분류기로 앙상블하여 최종 다중 레이블 분류 성능 향상시키기.
• ICD 코드 정의를 외부 지식으로 활용하여 레이블 표현을 풍부화시켜 임상 텍스트와의 의미적 정렬을 향상시키기.
• 클래스 불균형을 관리하고 신뢰성 있는 평가를 보장하기 위해 상위 32개의 ICD-10 코드와 상위 50개의 ICD-9 코드에서 성능 평가하기.

실험 결과

연구 질문

• RQ1 기하학적 메타-임베딩 기법을 사용해 다수의 사전 훈련된 단어 임베딩을 융합하면 단일 임베딩 기반 베이스라인을 초월해 ICD 코드 예측 성능을 향상시킬 수 있는가?
• RQ2 국소 이웃 구조를 유지하도록 임베딩을 후처리하면 후행 분류 성능가 향상되는가?
• RQ3 비정형 텍스트와 구조화된 임상 데이터의 다중모달 융합이 단일모달 접근법보다 더 나은 ICD 코드 예측 결과를 낼 수 있는가?
• RQ4 제안된 임베딩 융합 방법은 다양한 ICD 코드 체계(ICD-9 대비 ICD-10)에서 효과적인가?
• RQ5 단어 임베딩에 외부 생물의학 지식을 통합하면 모델의 일반화 성능가 향상되며, 아키텍처의 복잡성이나 추가 학습 데이터 없이도 가능한가?

주요 결과

• MIMIC 및 PubMed 임베딩에 MeanDiff 후처리를 적용한 국소 선형 메타-임베딩 기법이 모든 평가 구성에서 최고의 성능을 기록했다.
• 최고 성능을 기록한 모델은 상위 32개 ICD-10 코드와 상위 50개 ICD-9 코드에 대한 다중 레이블 분류 작업에서 모두 기존 베이스라인을 뛰어넘었다.
• 융합된 임베딩를 사용해 구조화된 데이터 예측을 CNN 모델과 앙상블하면, 구조화된 데이터를 단독으로 사용하는 것보다 성능 향상이著명했다.
• 최고 성능을 기록한 구성은 ICD-9 및 ICD-10 코드 예측 작업 모두에서 일관되게 높은 성능를 보이며, 코드 체계의 차이에 대해 강건함을 입증했다.
• 임베딩 융합을 통한 외부 지식의 활용이 아키텍처 변경 없이도 모델 성능 향상에 기여했으며, 추가 학습 데이터가 필요하지도 않았다.