[논문 리뷰] Health-LLM: Personalized Retrieval-Augmented Disease Prediction System

Qinkai Yu, Mingyu Jin외 9명|arXiv (Cornell University)|2024. 02. 01.

Artificial Intelligence in Healthcare인용 수 11

한 줄 요약

Health-LLM은 대형 언어 모델, 검색 보강 생성(RAG), 및 자동 특징 엔지니어링을 결합하여-health 보고서에서 질병을 예측하고 여러 기준선 baselines를 능가합니다.

ABSTRACT

Recent advancements in artificial intelligence (AI), especially large language models (LLMs), have significantly advanced healthcare applications and demonstrated potentials in intelligent medical treatment. However, there are conspicuous challenges such as vast data volumes and inconsistent symptom characterization standards, preventing full integration of healthcare AI systems with individual patients' needs. To promote professional and personalized healthcare, we propose an innovative framework, Heath-LLM, which combines large-scale feature extraction and medical knowledge trade-off scoring. Compared to traditional health management applications, our system has three main advantages: (1) It integrates health reports and medical knowledge into a large model to ask relevant questions to large language model for disease prediction; (2) It leverages a retrieval augmented generation (RAG) mechanism to enhance feature extraction; (3) It incorporates a semi-automated feature updating framework that can merge and delete features to improve accuracy of disease prediction. We experiment on a large number of health reports to assess the effectiveness of Health-LLM system. The results indicate that the proposed system surpasses the existing ones and has the potential to significantly advance disease prediction and personalized health management.

연구 동기 및 목표

• 개인 맞춤형 건강 관리의 동기를 부여하기 위해 환자 건강 보고서에서 잠재적 질병을 예측합니다.
• 건강 보고서를 대형 모델에 통합하고 전문 의료 지식으로 특징 가중치를 조정합니다.
• 질병 예측 정확도를 높이기 위해 반자동에서 완전 자동화된 특징 추출 프레임워크를 개발합니다.

제안 방법

• 다양한 질병에 대한 증상 특징을 생성하기 위해 컨텍스트 학습을 사용합니다.
• 의료 지식 베이스를 활용한 Retrieval Augmented Generation(RAG)을 적용하여 LLM의 프롬프트를 보강합니다.
• 전문 의료 정보를 가진 Llama Index로 특징을 점수화하고 아래의 모델링에 특징으로 포함합니다.
• 엔지니어링된 특징 점수를 기반으로 XGBoost 분류기를 학습시켜 질병 레이블을 예측합니다.
• 맥락 인지형 자동 특징 엔지니어링(CAAFE)을 도입하여 의미적으로 관련된 특징을 반복적으로 생성합니다.
• ACC와 매크로 F1을 지표로 IMCS-21 데이터셋에서 여러 기준선에 대해 평가합니다.

실험 결과

연구 질문

• RQ1 Health-LLM이 IMCS-21 데이터셋에서 정보 검색 및 기타 기준선과 비교하여 질병 예측 정확도를 향상시킬 수 있나요?
• RQ2 외부 의료 지식 검색 및 특징 전처리(CAAFE)가 예측 성능에 미치는 영향은 무엇인가요?
• RQ3 검색 보강 아키텍처와 자동 특징 엔지니어링이 개인 맞춤 건강 예측을 개선하나요?
• RQ4 소수-shot 설정에서 Health-LLM은 미세 조정된 Llama2 및 다른 대형 모델에 비해 어떻게 성능을 보이나요?

주요 결과

• Health-LLM은 IMCS-21에서 Accuracy 0.833 및 F1 0.762를 달성하여 검색을 포함한 GPT-4(Accuracy 0.680, F1 0.718)를 능가합니다.
• Health-LLM은 동일 작업에서 RoBERTa, TextBiLSTM+Attention, 및 Hierarchical Attention을 포함한 여러 기준선을 능가합니다.
• 외부 의료 지식 검색을 제거하면 Accuracy가 0.78로, F1이 0.714로 감소하는 것으로 나타나 전문 지식 인덱싱의 가치를 강조합니다.
• CAAFE 특징 전처리를 제거하면 Accuracy가 0.77로, F1이 0.721로 감소하여 맥락 인지형 자동 특징 엔지니어링의 이점을 시사합니다.
• 미세 조정된 Llama2 모델과 비교할 때, Health-LLM은 보고된 설정에서 여전히 우수합니다(Health-LLM 0.833 ACC, 0.762 F1 vs. Fine-tuned-Llama2-13B 0.730 ACC, 0.671 F1).