[논문 리뷰] Generalization in Healthcare AI: Evaluation of a Clinical Large Language Model

Salman Rahman, Lavender Yao Jiang외 4명|arXiv (Cornell University)|2024. 02. 14.

Machine Learning in Healthcare인용 수 8

한 줄 요약

이 연구는 ClinicLLM(네 개 병원의 임상 노트로 학습)을 30일 재입원 예측에 대해 평가하고, 병원 간 일반화 및 환자 그룹 간 일반화를 분석하며, 일반화를 개선하기 위한 미세조정 전략을 비교합니다.

ABSTRACT

Advances in large language models (LLMs) provide new opportunities in healthcare for improved patient care, clinical decision-making, and enhancement of physician and administrator workflows. However, the potential of these models importantly depends on their ability to generalize effectively across clinical environments and populations, a challenge often underestimated in early development. To better understand reasons for these challenges and inform mitigation approaches, we evaluated ClinicLLM, an LLM trained on [HOSPITAL]'s clinical notes, analyzing its performance on 30-day all-cause readmission prediction focusing on variability across hospitals and patient characteristics. We found poorer generalization particularly in hospitals with fewer samples, among patients with government and unspecified insurance, the elderly, and those with high comorbidities. To understand reasons for lack of generalization, we investigated sample sizes for fine-tuning, note content (number of words per note), patient characteristics (comorbidity level, age, insurance type, borough), and health system aspects (hospital, all-cause 30-day readmission, and mortality rates). We used descriptive statistics and supervised classification to identify features. We found that, along with sample size, patient age, number of comorbidities, and the number of words in notes are all important factors related to generalization. Finally, we compared local fine-tuning (hospital specific), instance-based augmented fine-tuning and cluster-based fine-tuning for improving generalization. Among these, local fine-tuning proved most effective, increasing AUC by 0.25% to 11.74% (most helpful in settings with limited data). Overall, this study provides new insights for enhancing the deployment of large language models in the societally important domain of healthcare, and improving their performance for broader populations.

연구 동기 및 목표

• ClinicLLM이 시스템 내의 병원 간 일반화와 보험, 인종, 연령, 동반질환 등의 환자 그룹 간 일반화를 얼마나 잘 수행하는지 평가합니다.
• 표본 크기, 노트 내용, 환자 특성, 병원 특성 등 일반화 격차를 야기하는 요인을 식별합니다.
• 지역 병원별 미세조정, 인스턴스 기반 증강, 클러스터 기반 미세조정 등 일반화를 개선하기 위한 전략을 평가합니다.
• 다양한 보건의료 환경에서 임상 LLM을 배치하기 위한 실행 가능한 통찰을 제공합니다.

제안 방법

• ClinicLLM을 BERT-base 아키텍처(109M 매개변수) 및 MLM 목표로 네 병원의 임상 노트에 대해 사전학습합니다.
• History and Physical 노트에 이진 재입원 라벨을 사용하여 80-10-10 학습-검증-테스트 분할과 시간적 테스트 세트를 적용해 ClinicLLM을 미세조정합니다.
• 전역 미세조정(모든 노트) 및 병원별 로컬 미세조정, 임인기반 증강 미세조정(임베딩 유사성으로 매칭된 샘플), 클러스터 기반 미세조정(UMAP 차원 축소 + K-means 클러스터링)을 평가합니다.
• 주요 지표로 AUC, AUPR, ECE를 사용하며 병원, 보험 유형, 인종, 연령, 동반질환 수준 간의 일반화를 평가합니다.
• 묘사 통계, 당황도 분석, 일반화를 좌우하는 주요 특징을 식별하기 위한 의사결정 트리 기반 클러스터링을 통해 요인을 조사합니다.

실험 결과

연구 질문

• RQ1 ClinicLLM이 병원 간 및 환자 하위그룹에서 30일 전체 원인 재입원을 예측하는 일반화 정도는 어떠합니까?
• RQ2 일반화 부족과 관련된 주요 요인은 무엇입니까(샘플 크기, 노트 길이, 나이, 동반질환, 보험, 인종)?
• RQ3 로컬, 인스턴스 기반 증강, 클러스터 기반의 미세조정 전략이 일반화를 개선하며 그 정도는 어느 정도입니까?
• RQ4 데이터가 제한된 병원에서 어느 전략이 AUC의 상대적 개선을 가장 크게 이룰까요?

주요 결과

그룹	항목	AUC (%)	AUPR (%)	ECE	재입원율 (%)	샘플 크기
병원	병원 1	74.60	34.10	0.21	14.80	102,275
병원	병원 2	73.04	29.69	0.22	13.70	51,545
병원	병원 3	69.90	20.70	0.27	9.70	4,502
병원	병원 4	51.20	14.40	0.42	14.40	3,451
보험 유형	정부	65.15	32.72	0.22	20.30	54,705
보험 유형	Private	76.43	30.01	0.22	11.20	105,328
보험 유형	Self-Pay	77.78	13.02	0.38	6.30	1,257
보험 유형	Other	64.03	16.71	0.35	16.80	483
인종 그룹	White	72.68	30.06	0.22	14.40	89,273
인종 그룹	Black	71.71	33.10	0.21	15.80	19,207
인종 그룹	Asian	76.56	33.84	0.19	23.00	16,592
인종 그룹	American Indian or Alaska Native	81.27	34.03	0.24	7.20	1,068
인종 그룹	Native Hawaiian or Other Pacific Islander	57.82	8.96	0.42	9.20	704
인종 그룹	Unknown	75.10	31.23	0.22	14.00	34,929
연령 그룹	Under 18	75.21	26.53	0.21	4.50	24,147
연령 그룹	Young Adult (18-35)	80.81	23.88	0.26	8.50	16,707
연령 그룹	Adult (35-60)	74.69	31.07	0.21	11.30	40,937
연령 그룹	Above 60	64.75	32.06	0.22	20.00	79,858
동반질환	Level 1 (Low)	74.76	24.46	0.25	9.40	110,258
동반질환	Level 2 (Moderate)	66.86	33.69	0.22	20.30	218,30
동반질환	Level 3 (High)	61.43	37.93	0.20	27.10	251,60
동반질환	Level 4 (Severe)	58.08	43.25	0.19	33.00	4,525

• 병원 수준의 일반화가 고르지 않으며; Hospital 3 및 Hospital 4가 Temporal 테스트에서 각각 69.90% 및 51.20%로 현저히 낮습니다.
• 보험 유형 및 인종 그룹은 성능이 가변적이며, 정부 및 기타/미확인 보험은 Self-Pay보다 낮은 AUC를 보이며; Asian 및 American Indian or Alaska Native 그룹은 상대적으로 높은 AUC를 보이는 반면 Native Hawaiian/Other Pacific Islander의 성능은 저조합니다.
• 연령은 일반화에 큰 영향을 미치며 Above 60의 AUC는 64.75%로 그룹 중 최저입니다.
• 동반질환이 높아질수록 AUC가 낮아지며(CCI Level 3–4에서 각각 61.43% 및 58.08%), 다만 AUPR은 동반질환 수준이 높아질수록 증가합니다.
• 로컬 병원별 미세조정이 가장 큰 비례 AUC 증가를 가져오며(병원 4에서 최대 11.74%), 병원 간 보정도 더 잘 이루어집니다.
• 인스턴스 기반 증강 및 클러스터 기반 미세조정은 로컬 미세조정보다 작거나 가변적인 개선을 제공합니다.