[논문 리뷰] Multi-label natural language processing to identify diagnosis and procedure codes from MIMIC-III inpatient notes

Anita Singh, Mounika Guntu외 3명|arXiv (Cornell University)|2020. 03. 17.

Machine Learning in Healthcare참고 문헌 9인용 수 15

한 줄 요약

이 연구는 MIMIC-III 입원 기록에서 진료 및 절차 코드 할당을 자동화하기 위해 BERT 기반 다중 레이블 분류 모델을 제안한다. 상위 50개 코드에서 93.76%의 정확도와 92.24%의 F1 스코어를 달성한다. 비밀번호 해제된 중환자 치료 기록에 대해 미세조정된 트랜스포머 임bedding을 활용하여, 진료 비용 청구의 효율성을 높이고 오류를 줄인다.

ABSTRACT

In the United States, 25% or greater than 200 billion dollars of hospital spending accounts for administrative costs that involve services for medical coding and billing. With the increasing number of patient records, manual assignment of the codes performed is overwhelming, time-consuming and error-prone, causing billing errors. Natural language processing can automate the extraction of codes/labels from unstructured clinical notes, which can aid human coders to save time, increase productivity, and verify medical coding errors. Our objective is to identify appropriate diagnosis and procedure codes from clinical notes by performing multi-label classification. We used de-identified data of critical care patients from the MIMIC-III database and subset the data to select the ten (top-10) and fifty (top-50) most common diagnoses and procedures, which covers 47.45% and 74.12% of all admissions respectively. We implemented state-of-the-art Bidirectional Encoder Representations from Transformers (BERT) to fine-tune the language model on 80% of the data and validated on the remaining 20%. The model achieved an overall accuracy of 87.08%, an F1 score of 85.82%, and an AUC of 91.76% for top-10 codes. For the top-50 codes, our model achieved an overall accuracy of 93.76%, an F1 score of 92.24%, and AUC of 91%. When compared to previously published research, our model outperforms in predicting codes from the clinical text. We discuss approaches to generalize the knowledge discovery process of our MIMIC-BERT to other clinical notes. This can help human coders to save time, prevent backlogs, and additional costs due to coding errors.

연구 동기 및 목표

• 미국 병원 지출의 2000억 달러 이상을 차지하는 수작업 의료 코드화의 시간과 오류율을 줄이기 위해.
• 고량의 임상 기록에서 수작업 코드화의 비효율성과 확장성 문제를 해결하기 위해.
• 비정형 임상 기록을 ICD-10 진료 및 절차 코드에 정확하게 매핑하는 다중 레이블 NLP 모델을 개발하기 위해.
• 자동화된 AI 보조 코드화 지원을 통해 코드러의 생산성을 높이고 청구 오류를 줄이기 위해.

제안 방법

• 비밀번호 해제된 MIMIC-III 입원 기록에 대해 양방향 트랜스포머 기반 언어 모델(BERT)을 미세조정하여 다중 레이블 분류를 수행한다.
• 고영향력 및 고빈도 코드 작업에 집중하기 위해 상위 10개 및 상위 50개의 가장 흔한 진료 및 절차 코드를 선별한다.
• 모델 일반화를 평가하기 위해 데이터셋을 80% 훈련 및 20% 검증 세트로 분할한다.
• 각 코드를 독립적인 이진 분류 작업으로 간주하여, BERT 임베딩에 시퀀스 분류 헤드를 적용해 각 기록에 대해 다중 레이블을 예측한다.
• 조기 정지와 학습률 스케줄링을 통해 F1 스코어 및 AUC 지표를 최적화하여 모델 성능을 향상시킨다.
• 코드 빈도의 장꼬리 분포를 다루기 위해 레이블 스무oothing 및 클래스 균형 기법을 적용한다.

실험 결과

연구 질문

• RQ1 미세조정된 BERT 모델은 높은 정확도로 임상 기록에서 ICD-10 진료 및 절차 코드를 예측하기 위해 다중 레이블 분류를 효과적으로 수행할 수 있는가?
• RQ2 MIMIC-III 데이터셋에서 상위 10개 대비 상위 50개의 가장 흔한 코드를 예측할 때 모델 성능은 어떻게 달라지는가?
• RQ3 이 방법은 실제 의료 환경에서 수작업 코드화 작업량을 얼마나 줄이고 청구 오류를 방지할 수 있는가?
• RQ4 다양한 임상 기록 구조와 중환자 치료 기록의 어휘에 대해 모델은 얼마나 잘 일반화되는가?

주요 결과

• 상위 10개의 진료 및 절차 코드에 대해 모델은 87.08%의 정확도, 85.82%의 F1 스코어, 91.76%의 AUC를 기록했다.
• 상위 50개 코드에 대해서는 93.76%의 정확도, 92.24%의 F1 스코어, 91%의 AUC를 달성하여 빈도가 높은 코드에 대한 강력한 일반화 능력을 입증했다.
• 비정형 텍스트에서 임상 코드를 예측하는 데 이전에 발표된 방법보다 뛰어난 성능을 보이며 최첨단 성능을 입증했다.
• 높은 AUC 스코어는 모든 코드 카테고리에서 양성 및 음성 레이블 간의 강력한 구분 능력을 시사한다.
• 결과는 BERT 기반 모델이 높은 정밀도와 재현율을 유지하면서도 수작업 코드화 노력을 크게 줄일 수 있음을 시사한다.
• 이 방법은 다른 임상 기록 시스템으로도 일반화 가능하며, 다양한 의료 환경에서의 확장 가능한 구현을 지원한다.