[논문 리뷰] Multimodal Machine Learning for Automated ICD Coding

Keyang Xu, Mike Lam외 10명|arXiv (Cornell University)|2018. 10. 31.

Biomedical Text Mining and Ontologies참고 문헌 34인용 수 8

한 줄 요약

이 논문은 EMR에서 비구조화된 텍스트, 반구조화된 진단, 구조화된 표 형태 데이터를 통합하여 ICD-10 코드 예측의 정확도와 해석 가능성 향상을 위한 다중모odal 기계학습 프레임워크를 제안한다. 텍스트-CNN, 의미 유사도 모델링, 의사결정나무와 같은 모odal별 모델의 앙상블에 더하여 TF-IDF 및 LIME를 통한 증거 검색을 적용함으로써, 마이크로-F1은 0.7633, 마이크로-AUC는 0.9541을 기록하여 TF-IDF 및 텍스트-CNN 기준선보다 유의하게 뛰어난 성능을 달성하였다.

ABSTRACT

This study presents a multimodal machine learning model to predict ICD-10 diagnostic codes. We developed separate machine learning models that can handle data from different modalities, including unstructured text, semi-structured text and structured tabular data. We further employed an ensemble method to integrate all modality-specific models to generate ICD-10 codes. Key evidence was also extracted to make our prediction more convincing and explainable. We used the Medical Information Mart for Intensive Care III (MIMIC -III) dataset to validate our approach. For ICD code prediction, our best-performing model (micro-F1 = 0.7633, micro-AUC = 0.9541) significantly outperforms other baseline models including TF-IDF (micro-F1 = 0.6721, micro-AUC = 0.7879) and Text-CNN model (micro-F1 = 0.6569, micro-AUC = 0.9235). For interpretability, our approach achieves a Jaccard Similarity Coefficient (JSC) of 0.1806 on text data and 0.3105 on tabular data, where well-trained physicians achieve 0.2780 and 0.5002 respectively.

연구 동기 및 목표

• EMR 내 다양한 데이터 유형을 활용하여 ICD-10 코드 예측 정확도를 향상시키는 강력한 다중모달 기계학습 시스템을 개발한다.
• 다양한 데이터 유형의 통합과 도메인 인지 특성 공학을 통해 희귀 ICD 코드에서의 데이터 불균형 문제와 낮은 예측 성능 문제를 해결한다.
• 비구조화된 텍스트와 표 형태 데이터로부터 임상적으로 관련성이 있는 증거를 추출하여 투명성과 의료진 신뢰도를 향상시키기 위해 모델의 해석 가능성성을 강화한다.
• MIMIC-III 데이터셋을 대상으로 모델을 검증하고, TF-IDF 및 텍스트-CNN과 같은 기존 기준선과의 성능을 비교한다.
• 의료 지침과 같은 인간의 도메인 지식을 기계학습에 통합할 경우 모델 성능 향상과 임상적 관련성 향상에 기여함을 입증한다.

제안 방법

• 비구조화된 임상 노트에 대해 텍스트-CNN 모델을 훈련시어 다중 레이블 ICD 코드 분류를 수행한다.
• 의사가 작성한 진단과 반구조화된 텍스트 내 ICD 코드 설명 간의 의미 유사도를 계산하기 위해 딥러닝 모델을 구축한다.
• 수치형 표 형태 특성(예: 검사 결과, 생명체징후)을 이진 특성으로 변환하고 의사결정나무를 사용하여 구조화된 데이터에서 ICD 코드를 예측한다.
• 세 가지 모odal별 모델의 예측 결과를 가중 평균을 사용하여 앙상블하여 전체 분류 성능 향상을 도모한다.
• 텍스트 데이터의 경우 TF-IDF, 표 형태 데이터의 경우 LIME을 적용하여 모델의 해석 가능성성을 향상시키기 위한 핵심 증거를 추출한다.
• 임상 지침에서 유도된 인지 TF-IDF 특성을 활용해 텍스트-CNN 모델을 강화함으로써 희귀 및 복잡한 코드에서의 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 EMR 내 다양한 데이터 모달(텍스트, 반구조화, 표 형태)을 통합할 경우 단일 모달 접근법 대비 ICD-10 코드 예측 정확도 향상에 기여하는가?
• RQ2 의료 지침과 같은 도메인 전용 지식의 활용이 ICD 코드 부여에 있어 기계학습 성능 향상에 얼마나 효과적인가?
• RQ3 증거 검색 방법(TF-IDF 및 LIME)을 통해 자동 ICD 코드 예측의 해석 가능성과 임상적 신뢰성은 어느 정도 향상되는가?
• RQ4 다중모달 앙상블이 특히 저빈도 ICD 코드에서의 데이터 불균형 문제를 완화하는 데 기여하는가?
• RQ5 모델의 증거 추출 성능가 인간이 애너테이션한 의료진의 해석과 비교할 때 관련성과 일관성 측면에서 어느 정도 수준인가?

주요 결과

• 앙상블 모델은 마이크로-F1 점수 0.7633, 마이크로-AUC 0.9541을 기록하여 TF-IDF(마이크로-F1: 0.6721, 마이크로-AUC: 0.7879) 및 텍스트-CNN(마이크로-F1: 0.6569, 마이크로-AUC: 0.9235) 기준선보다 유의미하게 뛰어난 성능을 보였다.
• 텍스트 데이터에 대한 모델의 해석 가능성 성능은 Jaccard 유사도 계수(JSC) 0.1806을 기록하였으며, 이는 의료진이 애너테이션한 결과(0.2780)와 강한 일치를 보여, 인간의 증거와 유사한 방향으로 작동함을 시사한다.
• 표 형태 데이터의 경우 모델은 JSC 0.3105를 기록하였고, 의료진의 결과(0.5002)와 비교해 일부 경우에서 의료진보다 더 관련성이 높은 특징을 포착함을 보여주었다.
• 임상 지침에서 유도된 인지 TF-IDF 특성의 통합은 특히 마크로 평균 지표에서 성능 향상을 이끌어내어, 임상 NLP에서 도메인 지식의 가치를 입증하였다.
• 증거 검색은 'DM II' 및 '메트포르민'과 같은 임상적으로 관련성이 높은 용어를 E11.9에 대해 식별하였으며, 검사 및 처방 데이터에서 '혈액 포도당' 및 '인슐린'과 같은 용어도 탐지하여, 텍스트 전용 분석에서는 두드러지지 않았던 정보를 제공하였다.
• 증거 추출 성능은 분류 AUC와 상관관계가 있었으며, AUC가 높은 클래스(예: >0.9)에서는 AUC가 낮은 클래스(예: D64.9의 약 0.7)보다 더 관련성이 높은 증거를 도출하였다.