[論文レビュー] Health-LLM: Personalized Retrieval-Augmented Disease Prediction System

Qinkai Yu, Mingyu Jin+9 more|arXiv (Cornell University)|Feb 1, 2024

Artificial Intelligence in Healthcare被引用数 11

ひとこと要約

Health-LLM は大規模言語モデル、検索拡張生成、そして自動特徴量エンジニアリングを組み合わせて健康レポートから疾病を予測し、いくつかのベースラインよりも高い性能を発揮します。

ABSTRACT

Recent advancements in artificial intelligence (AI), especially large language models (LLMs), have significantly advanced healthcare applications and demonstrated potentials in intelligent medical treatment. However, there are conspicuous challenges such as vast data volumes and inconsistent symptom characterization standards, preventing full integration of healthcare AI systems with individual patients' needs. To promote professional and personalized healthcare, we propose an innovative framework, Heath-LLM, which combines large-scale feature extraction and medical knowledge trade-off scoring. Compared to traditional health management applications, our system has three main advantages: (1) It integrates health reports and medical knowledge into a large model to ask relevant questions to large language model for disease prediction; (2) It leverages a retrieval augmented generation (RAG) mechanism to enhance feature extraction; (3) It incorporates a semi-automated feature updating framework that can merge and delete features to improve accuracy of disease prediction. We experiment on a large number of health reports to assess the effectiveness of Health-LLM system. The results indicate that the proposed system surpasses the existing ones and has the potential to significantly advance disease prediction and personalized health management.

研究の動機と目的

• 潜在的な疾病を患者の健康レポートから予測して個別化された健康管理を動機付ける。
• 健康レポートを大規模モデルに統合し、専門的な医療知識で特徴量の重みを調整する。
• semi- to fully automated feature extraction framework を開発して疾病予測精度を改善する。

提案手法

• さまざまな疾病の症状特徴量を生成するためにインコンテキスト学習を使用する。
• LLM の Prompt を豊かにするために医療知識ベースを用いた Retrieval Augmented Generation (RAG) を適用する。
• 専門的な医療情報を用いて Llama Index で特徴量をスコアリングし、下流モデリングの特徴量として埋め込む。
• エンジニアリングされた特徴量スコアを用いて XGBoost 分類器を訓練し疾病ラベルを予測する。
• CAAFE (Context-Aware Automated Feature Engineering) を取り入れて意味論的に関連する特徴量を反復的に生成する。
• IMCS-21 データセットで ACC および macro F1 を評価指標として、複数のベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 Health-LLM は IMCS-21 データセットに対して情報取得を伴う GPT-4 や他のベースラインと比較して疾病予測精度を改善できるか。
• RQ2 外部医療知識検索と特徴量前処理 (CAAFE) が予測性能に与える影響はどうか。
• RQ3 検索拡張アーキテクチャと自動特徴量エンジニアリングの組み合わせは個別化された健康予測を改善するか。
• RQ4 Health-LLM はファインチューニングされた Llama2 や他の大規模モデルと比べて少数ショット設定でどのように性能するか。

主な発見

• Health-LLM は IMCS-21 で Accuracy 0.833 と F1 0.762 を達成し、情報取得を伴う GPT-4 と比較して優れている（Accuracy 0.680、F1 0.718）。
• Health-LLM は同じタスクで RoBERTa、TextBiLSTM+Attention、Hierarchical Attention を含む複数のベースラインよりも上回る。
• アブレーションにより外部医療知識検索を除くと Accuracy が 0.78、F1 が 0.714 へ低下し、専門知識のインデックス付けの価値を強調。
• CAAFE の特徴量前処理を除くと Accuracy が 0.77、F1 が 0.721 へ低下し、文脈認識型自動特徴量エンジニアリングの利点を示す。
• ファインチューニング済みの Llama2 モデルと比較して、報告された設定では Health-LLM が依然として優れている（Health-LLM 0.833 ACC、0.762 F1 対 Fine-tuned-Llama2-13B 0.730 ACC、0.671 F1）。