[논문 리뷰] ICD Coding from Clinical Text Using Multi-Filter Residual Convolutional Neural Network

Fei Li, Hong Yu|arXiv (Cornell University)|2019. 11. 25.

Topic Modeling참고 문헌 21인용 수 5

한 줄 요약

이 논문은 임상 텍스트에서 ICD 코드를 예측하기 위해 다중 필터 및 잔차 컨볼루션 레이어를 결합한 딥 러닝 모델인 MultiResCNN을 제안한다. 다양한 텍스트 패턴을 포착하고 수용 영역을 확장함으로써, MIMIC-III 및 MIMIC-II 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 여러 설정에서 15개 평가 지표 중 14개에서 기존 모델을 능가하였다.

ABSTRACT

Automated ICD coding, which assigns the International Classification of Disease codes to patient visits, has attracted much research attention since it can save time and labor for billing. The previous state-of-the-art model utilized one convolutional layer to build document representations for predicting ICD codes. However, the lengths and grammar of text fragments, which are closely related to ICD coding, vary a lot in different documents. Therefore, a flat and fixed-length convolutional architecture may not be capable of learning good document representations. In this paper, we proposed a Multi-Filter Residual Convolutional Neural Network (MultiResCNN) for ICD coding. The innovations of our model are two-folds: it utilizes a multi-filter convolutional layer to capture various text patterns with different lengths and a residual convolutional layer to enlarge the receptive field. We evaluated the effectiveness of our model on the widely-used MIMIC dataset. On the full code set of MIMIC-III, our model outperformed the state-of-the-art model in 4 out of 6 evaluation metrics. On the top-50 code set of MIMIC-III and the full code set of MIMIC-II, our model outperformed all the existing and state-of-the-art models in all evaluation metrics. The code is available at https://github.com/foxlf823/Multi-Filter-Residual-Convolutional-Neural-Network.

연구 동기 및 목표

• ICD 코드 예측을 위한 효과적인 문서 표현을 학습하는 데 있어 평탄하고 고정 길이의 컨볼루션 아키텍처의 한계를 해결하기 위해.
• 임상 노트의 다양한 길이와 문법적 구조에서 다양한 텍스트 패턴을 포착하여 ICD 코드 예측 성능을 향상시키기 위해.
• 잔차 연결과 다중 척도 필터링을 통해 모델의 깊이와 표현 능력을 향상시키기 위해.
• 광범위하게 사용되는 MIMIC 데이터셋에서 모델을 평가하고 최신 기술 수준의 베이스라인과 비교하기 위해.
• 깊고 다양화된 텍스트 표현이 ICD 코드 예측 정확도에 크게 기여함을 입증하기 위해.

제안 방법

• 모델은 임상 텍스트의 의미를 포착하기 위해 사전 학습된 word2vec 임베딩을 입력으로 사용한다.
• 다중 필터 컨볼루션 레이어는 여러 필터 크기(예: 3, 4, 5)를 적용하여 동시에 다양한 길이의 국소 패턴을 추출한다.
• 잔차 블록을 스택하여 더 깊은 네트워크 아키텍처를 구현하고 기울기 소실 문제를 완화한다.
• 잔차 컨볼루션 레이어는 수용 영역을 확장하여 텍스트 내 장거리 의존성을 포착할 수 있게 한다.
• 컨볼루션 레이어 이후에 어텐션 레이어를 적용하여 코드 예측에 중요한 토큰을 강조한다.
• 출력 레이어는 각 ICD 코드의 확률을 독립적으로 예측하기 위해 시그모이드 활성화 함수를 사용하여 다중 레이블 분류를 구현한다.

실험 결과

연구 질문

• RQ1 다양한 길이의 텍스트 패턴을 포착하기 위해 다중 필터 컨볼루션 레이어가 ICD 코드 예측 성능 향상에 기여하는가?
• RQ2 CNN 아키텍처에 잔차 연결을 통합함으로써 더 깊고 안정적인 학습을 통해 성능 향상이 이루어지는가?
• RQ3 제안된 MultiResCNN 모델은 다중 레이블 ICD 코드 예측 과제에서 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?
• RQ4 수용 영역 확장이 임상 텍스트의 ICD 코드 예측에 어떤 영향을 미치는가?
• RQ5 필터 크기 및 잔차 블록 수와 같은 하이퍼파rameter가 모델 성능에 어느 정도 기여하는가?

주요 결과

• MIMIC-III의 전체 코드 세트에서 MultiResCNN은 매크로-AUC, 마이크로-F1, K=8 및 K=15일 때 정밀도를 포함한 6개 평가 지표 중 4개에서 최신 기술 수준의 모델을 능가하였다.
• MIMIC-III의 상위 50개 코드 세트 및 MIMIC-II의 전체 코드 세트에서 MultiResCNN은 모든 평가 지표에서 기존 및 최신 기술 수준의 모든 모델을 능가하였다.
• MIMIC-III(전체 코드)에서 모델은 마이크로-F1 0.566과 정밀도@5 0.741을 기록하였으며, 입력 길이를 2,500 토큰으로 잘라내도 성능 저하가 최소한이었다.
• 하이퍼파라미터 튜닝 결과, 다중 필터 및 잔차 컨볼루션 레이어 모두 성능 향상에 크게 기여하였으며, CAML 대비 빠른 수렴(26 에포크 대비 85 에포크)을 보였다.
• 매개변수 수가 1.9배 증가하고 에포크당 학습 시간이 2.3배 길어졌음에도 불구하고, 일부 설정에서는 CAML보다 더 빠른 추론 속도를 기록하였다. 다만 전체 계산 비용은 높았다.
• MIMIC-II에서 Perotte 등이 제안한 SVM 베이스라인 모델 대비 마이크로-F1에서 0.171 향상되었고, Baumel 등의 GRU-attention 모델 대비 0.098 향상되었다.