[논문 리뷰] PLM-ICD: Automatic ICD Coding with Pretrained Language Models

Chao-Wei Huang, Shang-Chi Tsai외 1명|arXiv (Cornell University)|2022. 07. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사전에 학습된 언어 모델(PLMs)을 활용하여 자동 ICD 코드 부여를 위한 PLM-ICD 프레임워크를 제안한다. 이는 넓은 레이블 공간, 긴 입력 시퀀스, 도메인 불일치라는 세 가지 핵심 과제를 해결함으로써 성능을 향상시킨다. 도메인 특화 사전 학습, 세그먼트 풀링, 레이블 어텐션 기반 메커니즘을 통합함으로써 PLM-ICD는 MIMIC-3 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 마이크로-F1 59.8%와 마이크로-AUC 88.65%를 기록하였다.

ABSTRACT

Automatically classifying electronic health records (EHRs) into diagnostic codes has been challenging to the NLP community. State-of-the-art methods treated this problem as a multilabel classification problem and proposed various architectures to model this problem. However, these systems did not leverage the superb performance of pretrained language models, which achieved superb performance on natural language understanding tasks. Prior work has shown that pretrained language models underperformed on this task with the regular finetuning scheme. Therefore, this paper aims at analyzing the causes of the underperformance and developing a framework for automatic ICD coding with pretrained language models. We spotted three main issues through the experiments: 1) large label space, 2) long input sequences, and 3) domain mismatch between pretraining and fine-tuning. We propose PLMICD, a framework that tackles the challenges with various strategies. The experimental results show that our proposed framework can overcome the challenges and achieves state-of-the-art performance in terms of multiple metrics on the benchmark MIMIC data. The source code is available at https://github.com/MiuLab/PLM-ICD

연구 동기 및 목표

• 다른 자연어 처리(NLP) 과제에서의 성공에도 불구하고, 사전에 학습된 언어 모델(PLMs)이 자동 ICD 코드 부여 과제에서 성능이 떨어지는 이유를 해결하기 위해.
• 넓은 레이블 공간, PLM의 컨텍스트 길이를 초월하는 긴 입력 시퀀스, 일반 도메인 사전 학습과 임상 텍스트 사이의 도메인 불일치라는 세 가지 핵심 과제를 식별하고 해결하기 위해.
• 다중 레이블, 긴 시퀀스, 도메인 특화된 ICD 코드 부여에 적합한 맞춤형 솔루션을 통합한 통합 프레임워크를 개발하기 위해.
• 유사한 특성을 가진 의료 NLP 과제에 대해 PLM의 미세조정(best practices)을 수립하기 위해.
• 적절히 적응된 PLM 기반 모델이 ICD 코드 부여 벤치마크에서 경쟁력 있거나 우수한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 일반 도메인 사전 학습과 임상 텍스트 간의 도메인 불일치를 줄이기 위해 의료 문헌 코퍼스를 사용한 도메인 특화 사전 학습을 적용하기 위해.
• 긴 임상 노트를 처리하기 위해 입력을 겹치는 세그먼트로 나누고, 각 세그먼트를 PLM로 인코딩한 후 표현을 통합하는 세그먼트 풀링을 구현하기 위해.
• PLM의 은닉 표현과 각 ICD 레이블 간의 어텐션 스코어를 별도로 계산하는 레이블 어텐션 메커니즘을 통합하여 다중 레이블 분류의 효과를 높이기 위해.
• 의료 용어어의 커버리지 향상과 과도한 분할 방지를 위해 서브워드 토크나이저를 사용하고, 커스터마이즈된 어휘(예: PubMedBERT, RoBERTa-PM)를 활용하기 위해.
• 학습률 스케줄링과 웜업을 최적화하여 하이퍼파라미터 민감도를 보여주기 위해.
• 다양한 PLM 아키텍처와 어텐션 메커니즘의 성능을 평가하고 비교하여 가장 효과적인 구성 요소 조합을 도출하기 위해.

실험 결과

연구 질문

• RQ1 표준적인 미세조정 기법이 자동 ICD 코드 부여 과제에서 PLM의 잠재력을 제대로 활용하지 못하는 이유는 무엇인가?
• RQ2 긴 입력 시퀀스와 큰 레이블 집합이 임상 텍스트 분류 과제에서 PLM 성능에 미치는 영향은 어떠한가?
• RQ3 일반 도메인 사전 학습과 임상 텍스트 사이의 도메인 불일치가 PLM 성능에 미치는 영향은 어느 정도인가?
• RQ4 어떤 아키텍처 및 학습 전략 조합이 PLM 기반 ICD 코드 부여 과제에서 최적의 성능을 낼 수 있는가?
• RQ5 최종 성능에 크게 영향을 주는 핵심 하이퍼파라미터와 설계 선택은 무엇인가?

주요 결과

• PLM-ICD는 MIMIC-3 전체 테스트 세트에서 마이크로-F1 59.8%와 마이크로-AUC 88.65%를 기록하여 이전의 PLM 기반 모델을 능가하였다.
• LAAT에서 유도된 레이블 어텐션 메커니즘이 가장 높은 성능( macro-F1 10.4%)을 기록하였으며, CAML(8.7%)과 BERT-XML(8.2%)을 크게 능가하였다.
• 세그먼트 풀링은 HIER-BERT(2.8% macro-F1)와 Longformer(5.1% macro-F1)를 모두 능가하여 긴 임상 노트 처리에 효과적임을 입증하였다.
• 최대 문서 길이 3,072 토큰과 세그먼트 길이 128를 사용할 경우 성능와 계산 비용 간 최적의 트레이드오프를 달성하였다.
• 학습률과 웜업 스케줄이 매우 중요하다: 학습률을 2e-5로 낮추면 성능이 약 3% 감소하고, 일정한 학습률을 유지할 경우 성능이 약 4% 감소하였다.
• 도메인 특화 어휘(예: PubMedBERT, RoBERTa-PM)를 사용한 모델은 표준 어휘를 사용한 BERT 기반 모델보다 성능이 뛰어나고 과도한 분할 현상이 감소하였다.