[論文レビュー] RareBench: Can LLMs Serve as Rare Diseases Specialists?

Xuanzhong Chen, Xiaohao Mao+4 more|arXiv (Cornell University)|Feb 9, 2024

Cancer Genomics and DiagnosticsBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本稿では、希少疾患診断における大規模言語モデル（LLM）の評価を目的とした包括的ベンチマーク、RareBenchを紹介する。キュレートされた希少疾患知識グラフを用いた動的 few-shot プロンプト手法により、GPT-4は本物の患者データセットにおいて専門医よりもトップ1再現率で優れた結果（0.520 vs. 0.407）を示し、LLMが臨床的希少疾患診断分野において強力な潜在的役割を果たす可能性を示している。

ABSTRACT

Generalist Large Language Models (LLMs), such as GPT-4, have shown considerable promise in various domains, including medical diagnosis. Rare diseases, affecting approximately 300 million people worldwide, often have unsatisfactory clinical diagnosis rates primarily due to a lack of experienced physicians and the complexity of differentiating among many rare diseases. In this context, recent news such as "ChatGPT correctly diagnosed a 4-year-old's rare disease after 17 doctors failed" underscore LLMs' potential, yet underexplored, role in clinically diagnosing rare diseases. To bridge this research gap, we introduce RareBench, a pioneering benchmark designed to systematically evaluate the capabilities of LLMs on 4 critical dimensions within the realm of rare diseases. Meanwhile, we have compiled the largest open-source dataset on rare disease patients, establishing a benchmark for future studies in this domain. To facilitate differential diagnosis of rare diseases, we develop a dynamic few-shot prompt methodology, leveraging a comprehensive rare disease knowledge graph synthesized from multiple knowledge bases, significantly enhancing LLMs' diagnostic performance. Moreover, we present an exhaustive comparative study of GPT-4's diagnostic capabilities against those of specialist physicians. Our experimental findings underscore the promising potential of integrating LLMs into the clinical diagnostic process for rare diseases. This paves the way for exciting possibilities in future advancements in this field.

研究の動機と目的

• 希少疾患診断におけるLLMの評価の空白を埋めること。これは、医師の露出頻度が低く、表現型の複雑さが原因で誤診率が高い状況に起因する。
• 診断の正確性、耐性、解釈可能性、一般化能力という4つの主要な側面から、希少疾患文脈におけるLLMを体系的に評価すること。
• 北京協和病院（PUMCH）の希少疾患患者症例を大規模かつオープンソースで収集し、今後の研究を支援すること。
• 包括的な希少疾患知識グラフを用いた動的 few-shot プロンプト戦略により、LLMの診断性能を向上させること。
• LLMの診断性能を、臨床的意義とベンチマークの有用性を確立するために、専門医と直接比較すること。

提案手法

• OMIM、Orphanet、CCRD、HPOなどの複数のデータソースを統合し、疾患-表現型関係を表現する希少疾患知識グラフを構築する。
• 知識グラフに対して情報コンテンツに基づくランダムウォークアルゴリズムを適用し、プロンプト工学に適した多様で文脈的に関連性のあるfew-shot例を生成する。
• 入力患者の表現型プロファイルに応じてfew-shot例を動的に適応させる、動的 few-shot プロンプトフレームワークを設計し、診断の関連性を向上させる。
• 生のEHRテキストではなく、症状、徴候、家族歴を構造化した入力形式を採用することで、トークン数を削減し、モデルの注目と性能を向上させる。
• 75例の本物のPUMCH希少疾患症例を対象に、制御された評価を実施。GPT-4と他の2つのLLMを、外部支援有無の専門医と比較する。
• 診断の正確性と順位付けの質を評価するため、標準的な指標（トップ1、トップ3、トップ10再現率、中央順位）を用いて性能を評価する。

Figure 1. RareBench ’s overview of evaluation results.

実験結果

リサーチクエスチョン

• RQ1 LLMは希少疾患の鑑別診断において、専門医を上回る診断正確性を達成できるか？
• RQ2 生のEHRテキストと比較して、構造化された表現型入力はLLMの診断性能をどのように向上させるか？
• RQ3 希少疾患知識グラフに基づいた動的 few-shot プロンプト戦略は、LLMの診断推論をどの程度向上させるか？
• RQ4 特に表現型の重複が顕著な心臓病科など、異なる医学専門科において、診断性能指標はどのように変動するか？
• RQ5 外部臨床支援の影響は、希少疾患診断における医師とLLMの両者にどのように作用するか？

主な発見

• GPT-4は表現型ベースの入力を用いた場合、トップ1再現率が0.520に達し、外部支援なしの専門医（0.407）および支援ありの専門医（0.447）を大きく上回った。
• GPT-4のトップ3再現率は表現型入力で0.747に達し、支援なしの医師（0.468）および支援ありの医師（0.511）を上回った。
• 抽出された表現型を用いることで、入力トークン数が削減され、生のEHRテキストよりも診断性能が向上した。生のEHRテキストを用いた場合、GPT-4のトップ1再現率は0.453であった。
• 評価した5つの医学専門科すべてにおいて、GPT-4はトップ1およびトップ3再現率で専門医を上回った。特に小児科で最高の成績を示し、心臓病科で最も低い成績を示した。
• 心臓病科の症例は、すべてのモデルで最も成績が悪く、症状の重複と画像・検査結果への依存が原因と考えられ、マルチモーダルLLMの導入が求められる。
• 知識グラフに根ざした動的 few-shot プロンプト手法は、希少疾患症例におけるLLMの診断推論および順位付けの正確性を顕著に向上させた。

Figure 2. RareBench is the first pioneering benchmark to evaluate LLMs as rare disease specialists on 4 distinct tasks.