[논문 리뷰] CohortGPT: An Enhanced GPT for Participant Recruitment in Clinical Study

Zihan Guan, Zihao Wu외 6명|arXiv (Cornell University)|2023. 07. 21.

Artificial Intelligence in Healthcare and Education인용 수 15

한 줄 요약

CohortGPT는 지식 그래프와 강화학습 기반의 동적 Chain-of-Thought 샘플링을 활용하여 few-shot 설정에서 임상 연구 참여자 모집을 위한 LLM 기반 의학 텍스트 분류를 향상시킵니다.

ABSTRACT

Participant recruitment based on unstructured medical texts such as clinical notes and radiology reports has been a challenging yet important task for the cohort establishment in clinical research. Recently, Large Language Models (LLMs) such as ChatGPT have achieved tremendous success in various downstream tasks thanks to their promising performance in language understanding, inference, and generation. It is then natural to test their feasibility in solving the cohort recruitment task, which involves the classification of a given paragraph of medical text into disease label(s). However, when applied to knowledge-intensive problem settings such as medical text classification, where the LLMs are expected to understand the decision made by human experts and accurately identify the implied disease labels, the LLMs show a mediocre performance. A possible explanation is that, by only using the medical text, the LLMs neglect to use the rich context of additional information that languages afford. To this end, we propose to use a knowledge graph as auxiliary information to guide the LLMs in making predictions. Moreover, to further boost the LLMs adapt to the problem setting, we apply a chain-of-thought (CoT) sample selection strategy enhanced by reinforcement learning, which selects a set of CoT samples given each individual medical report. Experimental results and various ablation studies show that our few-shot learning method achieves satisfactory performance compared with fine-tuning strategies and gains superb advantages when the available data is limited. The code and sample dataset of the proposed CohortGPT model is available at: https://anonymous.4open.science/r/CohortGPT-4872/

연구 동기 및 목표

• 비구조화된 임상 노트와 방사선 보고서에서 자격 있는 참여자를 식별하는 과제.
• 질병 라벨 예측을 위한 LLM 추론을 도울 수 있도록 도메인 지식 그래프를 활용합니다.
• 강화학습으로 최적화된 동적 CoT 샘플 선택 전략으로 few-shot 학습 성능을 향상시킵니다.
• 제한된 라벨 데이터로 미세조정 접근법과의 경쟁력을 입증하고 재현 가능한 코드/데이터셋을 제공합니다.
• 프레임워크를 다른 의료 자연어처리 작업에 확장 가능함을 보여줍니다.

제안 방법

• LLM 입력에 지식 그래프 프롬프트를 이용해 의학 지식을 임베딩합니다( KG-as-Tree, KG-as-Relation, KG-as-Rules ).
• 정책경사 기반의 동적 CoT 샘플 선택을 도입하여 각 의료 보고서에 대한 CoT 프롬프트를 선택합니다.
• 정책에 정보를 제공하기 위해 보고서와 CoT 후보 간의 유사성을 계산하는 BioGPT 기반 상태 인코더를 사용합니다.
• CoT 선택기를 학습시키기 위해 올바른/잘못된 라벨 예측을 반영하는 보상 함수를 최적화합니다.
• ablation 결과를 기반으로 KG-to-prompt 변환의 기본값으로 KG-as-Rule을 사용합니다.
• IU-RR 및 MIMIC-CXR 데이터셋에서 미세조정 baselines(BioBERT, BioGPT) 및 few-shot LLM baselines(Alpaca, BloomZ, ChatGPT, GPT-4)와 비교하여 평가합니다.

Figure 1: A policy model will be trained on a small number of training samples to dynamically select CoT samples from a CoT candidate pool. A knowledge graph containing the hierarchical information of the disease labels will be transformed into a series of executable rules. Then the dynamic CoT samp

실험 결과

연구 질문

• RQ1 RQ1: 제안된 방법이 few-shot 설정에서 의료 보고서 분류 성능을 미세조정 접근법과 비교했을 때 어떤가요?
• RQ2 RQ2: 서로 다른 KG-to-prompt 전략과 CoT 샘플 선택 방법이 성능에 어떤 영향을 미치나요?
• RQ3 RQ3: 사례 연구를 통해 선택된 CoT 샘플을 통한 설명 가능하고 단계적 추론을 제공할 수 있나요?

주요 결과

• 저데이터 환경에서 ChatGPT 또는 GPT-4를 사용하는 방법이 전통적인 미세조정보다 우수합니다 (IU-RR: 0.69 F1 with 5-shot ChatGPT; 0.81 with 5-shot GPT-4 vs BioBERT 0.44 and BioGPT 0.25).
• IU-RR 및 MIMIC-CXR에서 데이터가 부족할 때 few-shot LLM이 미세조정보다 우위를 보이며, 더 큰 분할에서도 유사한 경향을 보입니다.
• KG-as-Rule이 전체 프롬프트 성능에서 최고를 보입니다(Exact Match 0.56, Precision 0.73, Recall 0.72, F1 0.69, HL 0.04).
• 동적 CoT 샘플 선택은 여러 지표에서 Random, Manual, Most-Similar CoT 전략을 일관되게 능가합니다.
• 더 많은 학습 샘플과 더 큰 CoT 후보 풀에서 성능이 향상되며, 최적의 k-shot 값은 대략 5 또는 8에서 관찰되지만, 너무 많은 CoT 샘플은 성능을 악화시킬 수 있습니다.
• 사례 연구는 선정된 CoT 샘플이 다단계 추론을 통해 ChatGPT가 설계대로 정답을 유도할 수 있음을 시사합니다.

Figure 2: A knowledge graph was created by [ 29 ] to represent relationships between diseases, organs, or tissues. In this graph, disease labels are represented by nodes in solid boxes, corresponding organs or tissues are represented by nodes in dotted boxes, and the edges linking the nodes represen