[논문 리뷰] Natural language processing of MIMIC-III clinical notes for identifying diagnosis and procedures with neural networks

Siddhartha Nuthakki, Sunil Neela외 2명|arXiv (Cornell University)|2019. 12. 28.

Machine Learning in Healthcare참고 문헌 29인용 수 27

한 줄 요약

이 연구는 MIMIC-III의 120만 건의 응급실 임상 노트에 ULMFiT 딥러닝 모델을 적용하여 비정형 텍스트에서 ICD-9 진단 및 절차 코드를 예측한다. 모델은 각각 진단과 절차에 대해 80.3%와 80.5%의 상위 10개 정확도를 기록하여 임상 코드화 자동화와 행정 부담 감소에 강력한 성능을 보여준다.

ABSTRACT

Coding diagnosis and procedures in medical records is a crucial process in the healthcare industry, which includes the creation of accurate billings, receiving reimbursements from payers, and creating standardized patient care records. In the United States, Billing and Insurance related activities cost around $471 billion in 2012 which constitutes about 25% of all the U.S hospital spending. In this paper, we report the performance of a natural language processing model that can map clinical notes to medical codes, and predict final diagnosis from unstructured entries of history of present illness, symptoms at the time of admission, etc. Previous studies have demonstrated that deep learning models perform better at such mapping when compared to conventional machine learning models. Therefore, we employed state-of-the-art deep learning method, ULMFiT on the largest emergency department clinical notes dataset MIMIC III which has 1.2M clinical notes to select for the top-10 and top-50 diagnosis and procedure codes. Our models were able to predict the top-10 diagnoses and procedures with 80.3% and 80.5% accuracy, whereas the top-50 ICD-9 codes of diagnosis and procedures are predicted with 70.7% and 63.9% accuracy. Prediction of diagnosis and procedures from unstructured clinical notes benefit human coders to save time, eliminate errors and minimize costs. With promising scores from our present model, the next step would be to deploy this on a small-scale real-world scenario and compare it with human coders as the gold standard. We believe that further research of this approach can create highly accurate predictions that can ease the workflow in a clinical setting.

연구 동기 및 목표

• 비정형 임상 노트를 표준화된 ICD-9 진단 및 절차 코드로 자동 매핑하는 것.
• 2012년 기준 미국 병원 지출의 4710억 달러를 차지한 의료 코드화와 관련된 높은 행정 비용을 줄이는 것.
• 딥러닝 모델, 특히 ULMFiT가 대규모 임상 노트 데이터에서 임상 코드화 작업에 대해 어떤 성능을 보이는지 평가하는 것.
• 임상 기록 및 청구 프로세스의 속도, 정확도, 효율성을 향상시켜 인간 코드러의 작업을 지원하는 것.

제안 방법

• 이 연구는 MIMIC-III 데이터셋에 포함된 120만 건의 응급실 임상 노트를 기반으로 미세조정된 ULMFiT 전이 학습 프레임워크를 활용한다.
• 입력으로는 입원 시 병력 기록 및 증상 정보의 텍스트를 사용하여 ICD-9 진단 및 절차 코드를 예측한다.
• 시퀀스 분류를 통해 미세조정된 임bedding과 분류적 미세조정을 사용하여 상위 10개 및 상위 50개 ICD-9 코드를 예측하도록 모델을 훈련시킨다.
• 모델 성능 평가를 위해 진단 및 절차 예측에 대해 상위 1개 및 상위 50개 정확도 지표를 사용한다.
• 제한된 레이블 데이터로 일반 목적의 언어 모델을 임상 도메인에 적응시키기 위해 전이 학습을 활용한다.

실험 결과

연구 질문

• RQ1 ULMFiT와 같은 딥러닝 모델이 비정형 임상 노트를 ICD-9 진단 및 절차 코드로 효과적으로 매핑할 수 있는가?
• RQ2 기존 기계 학습 모델에 비해 ULMFiT의 임상 코드화 작업에서의 성능은 어떻게 다른가?
• RQ3 진단 및 절차 분류에서 상위 10개 및 상위 50개 ICD-9 코드 예측의 정확도는 얼마인가?
• RQ4 인간 코드러와 함께 사용할 경우, 이러한 모델이 임상 코드화의 시간과 오류율을 줄일 수 있는가?

주요 결과

• 모델은 비정형 임상 노트에서 진단 코드 예측에 대해 80.3%의 상위 10개 정확도를 달성했다.
• 절차 코드 예측에 대해선 80.5%의 상위 10개 정확도를 기록하여 절차 코드화 작업에서 뛰어난 성능을 보였다.
• 상위 50개 예측에서는 진단 코드 정확도가 70.7%였고, 절차 코드 정확도는 63.9%였다.
• 결과적으로, ULMFiT와 같은 딥러닝 모델은 수작업 노력 감소와 오류 최소화를 통해 인간 코드러의 업무를 크게 지원할 수 있음을 시사한다.
• 이 연구는 이러한 모델을 실제 임상 환경에 도입하여 코드화 워크플로우를 간소화하는 것이 가능하다는 것을 뒷받침한다.