[論文レビュー] CohortGPT: An Enhanced GPT for Participant Recruitment in Clinical Study

Zihan Guan, Zihao Wu+6 more|arXiv (Cornell University)|Jul 21, 2023

Artificial Intelligence in Healthcare and Education被引用数 15

ひとこと要約

CohortGPT は知識グラフと強化学習駆動の動的 CoT（Chain-of-Thought）サンプリングを用いて、few-shot 設定での臨床研究参加者募集のための LLM ベース医療テキスト分類を改善します。

ABSTRACT

Participant recruitment based on unstructured medical texts such as clinical notes and radiology reports has been a challenging yet important task for the cohort establishment in clinical research. Recently, Large Language Models (LLMs) such as ChatGPT have achieved tremendous success in various downstream tasks thanks to their promising performance in language understanding, inference, and generation. It is then natural to test their feasibility in solving the cohort recruitment task, which involves the classification of a given paragraph of medical text into disease label(s). However, when applied to knowledge-intensive problem settings such as medical text classification, where the LLMs are expected to understand the decision made by human experts and accurately identify the implied disease labels, the LLMs show a mediocre performance. A possible explanation is that, by only using the medical text, the LLMs neglect to use the rich context of additional information that languages afford. To this end, we propose to use a knowledge graph as auxiliary information to guide the LLMs in making predictions. Moreover, to further boost the LLMs adapt to the problem setting, we apply a chain-of-thought (CoT) sample selection strategy enhanced by reinforcement learning, which selects a set of CoT samples given each individual medical report. Experimental results and various ablation studies show that our few-shot learning method achieves satisfactory performance compared with fine-tuning strategies and gains superb advantages when the available data is limited. The code and sample dataset of the proposed CohortGPT model is available at: https://anonymous.4open.science/r/CohortGPT-4872/

研究の動機と目的

• 構造化されていない臨床ノートおよび放射線レポートから適格な参加者を特定する課題に取り組む。
• 病気ラベル予測のために LLM の推論を導くドメイン知識グラフを活用する。
• 強化学習で最適化された動的 CoT サンプル選択戦略により few-shot 学習性能を向上させる。
• 限られたラベルデータでファインチューニング手法と競合することを示し、再現可能なコード/データセットを提供する。
• 本フレームワークを他の医療NLPタスクへ拡張可能であることを示す。

提案手法

• 知識グラフプロンプト（KG-as-Tree、KG-as-Relation、KG-as-Rules）を LLM 入力へ埋め込む。
• 各医療レポートに対して CoT プロンプトを選択するポリシー勾配ベースの動的 CoT サンプル選択を採用する。
• レポートと CoT 候補との類似度を計算してポリシーを知らせる BioGPT ベースのステータスエンコーダを使用する。
• 正解/不正解ラベル予測を反映する報酬関数を最適化して CoT セレクタを訓練する。
• Ablation 結果に基づき KG-to-prompt 変換はデフォルトで KG-as-Rule を採用する。
• IU-RR および MIMIC-CXR データセットを、ファインチューニングベースライン（BioBERT、BioGPT）および few-shot LLM ベースライン（Alpaca、BloomZ、ChatGPT、GPT-4）と比較して評価する。

Figure 1: A policy model will be trained on a small number of training samples to dynamically select CoT samples from a CoT candidate pool. A knowledge graph containing the hierarchical information of the disease labels will be transformed into a series of executable rules. Then the dynamic CoT samp

実験結果

リサーチクエスチョン

• RQ1 RQ1: 提案手法は、few-shot 設定においてファインチューニング手法と比較して医療レポート分類でどのような性能を示すか？
• RQ2 RQ2: さまざまな KG-to-prompt 戦略と CoT サンプル選択手法は性能にどのような影響を与えるか？
• RQ3 RQ3: 選択された CoT サンプルを通じて段階的な推論を説明可能に示せるか（ケーススタディで証拠づけられるか）？

主な発見

• 少量データ領域では、ChatGPT または GPT-4 を用いた手法が従来のファインチューニングを上回る（IU-RR: 5-shot ChatGPT で 0.69 F1、5-shot GPT-4 で 0.81、BioBERT 0.44、BioGPT 0.25）。
• IU-RR および MIMIC-CXR で、データが不足している場合に few-shot LLM がファインチューニングより有利であることを示し、データ分割が大きい場合にも同様の傾向。
• KG-as-Rule は全体として最も良いプロンプト性能を発揮（Exact Match 0.56、Precision 0.73、Recall 0.72、F1 0.69、HL 0.04）。
• Dynamic CoT サンプル選択は、複数の指標で一貫して Random、Manual、Most-Similar CoT 戦略を上回る。
• トレーニングサンプル数が増え、CoT 候補プールが大きくなると性能が向上する。最適な k-shot 値は約 5 または 8 の周辺で観測され、CoT サンプルが多すぎると性能が低下することもある。
• ケーススタディでは、選択された CoT サンプルにより ChatGPT が多段階推論を通じて回答を導けることが示された。

Figure 2: A knowledge graph was created by [ 29 ] to represent relationships between diseases, organs, or tissues. In this graph, disease labels are represented by nodes in solid boxes, corresponding organs or tissues are represented by nodes in dotted boxes, and the edges linking the nodes represen