[论文解读] CTBench: A Comprehensive Benchmark for Evaluating Language Model Capabilities in Clinical Trial Design

Nafis Neehal, Bowen Wang+5 more|arXiv (Cornell University)|Jun 25, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

CTBench 提出了一项新颖的基准，用于评估语言模型（LMs）在仅使用元数据的情况下预测临床试验基线特征的能力，该基准基于两个数据集——CT-Repo（来自 clinicaltrials.gov 的 1,690 项试验）和 CT-Pub（100 项试验，其基线特征由出版物中人工标注的黄金标准提取）。研究采用两种自动化方法评估 LM 生成的基线特征：ListMatch-LM（使用 GPT-4o）和 ListMatch-BERT，结合人工参与验证显示，在 0.7 阈值下 GPT-4o 由于具备更优的上下文理解能力，表现优于 BERT。

ABSTRACT

CTBench is introduced as a benchmark to assess language models (LMs) in aiding clinical study design. Given study-specific metadata, CTBench evaluates AI models' ability to determine the baseline features of a clinical trial (CT), which include demographic and relevant features collected at the trial's start from all participants. These baseline features, typically presented in CT publications (often as Table 1), are crucial for characterizing study cohorts and validating results. Baseline features, including confounders and covariates, are also necessary for accurate treatment effect estimation in studies involving observational data. CTBench consists of two datasets: "CT-Repo," containing baseline features from 1,690 clinical trials sourced from clinicaltrials.gov, and "CT-Pub," a subset of 100 trials with more comprehensive baseline features gathered from relevant publications. Two LM-based evaluation methods are developed to compare the actual baseline feature lists against LM-generated responses. "ListMatch-LM" and "ListMatch-BERT" use GPT-4o and BERT scores (at various thresholds), respectively, for evaluation. To establish baseline results, advanced prompt engineering techniques using LLaMa3-70B-Instruct and GPT-4o in zero-shot and three-shot learning settings are applied to generate potential baseline features. The performance of GPT-4o as an evaluator is validated through human-in-the-loop evaluations on the CT-Pub dataset, where clinical experts confirm matches between actual and LM-generated features. The results highlight a promising direction with significant potential for improvement, positioning CTBench as a useful tool for advancing research on AI in CT design and potentially enhancing the efficacy and robustness of CTs.

研究动机与目标

• 为解决临床试验设计中基线特征预测缺乏标准化、经人工智能评估的基准问题。
• 通过支持研究人员识别相关的人口统计学、临床及混杂变量，减少偏差并提升研究稳健性。
• 利用真实世界临床试验数据与专家标注的黄金标准，创建可复现、可扩展的基准。
• 评估最先进语言模型从最少元数据生成准确基线特征列表的性能。
• 通过临床专家参与的人工介入评估，验证评估方法的有效性。

提出的方法

• 构建两个数据集：CT-Repo（来自 clinicaltrials.gov 的 1,690 项随机对照试验）和 CT-Pub（100 项试验，其基线特征通过人工整理从已发表论文中提取）。
• 开发两种自动化评估方法：ListMatch-LM（使用 GPT-4o 评估预测特征与实际特征之间的相似度）和 ListMatch-BERT（使用 BERT 嵌入向量并基于阈值进行匹配）。
• 使用零样本和少样本提示法，通过 LLaMa3-70B-Instruct 和 GPT-4o 从 CT 元数据生成基线特征列表。
• 使用固定随机种子和 temperature=0.0，以确保在不同模型间生成与评估过程的确定性与可复现性。
• 通过人工介入的对比评估验证 GPT-4o 的评估性能，针对 CT-Pub 子集，由临床专家确认 LM 生成特征与实际特征之间的匹配关系。
• 基于在多个阈值下的实证评估，选择 0.7 作为 BERT 评分的阈值，以在精确率与召回率之间取得最佳平衡。

Figure 1: Workflow of CTBench.

实验结果

研究问题

• RQ1 语言模型是否仅凭元数据即可准确预测临床试验的基线特征，而无需访问完整的研究方案？
• RQ2 基于 LLM 的评估方法（如 ListMatch-LM 和 ListMatch-BERT）在衡量预测特征与实际基线特征之间相似度方面表现如何？
• RQ3 GPT-4o 在捕捉临床特征描述中细微语义相似性方面，相较于基于 BERT 的评分方法，优势有多大？
• RQ4 在人工介入设置下，由临床专家验证时，自动化评估指标的可靠性如何？
• RQ5 将语言模型中的社会偏见传递至临床试验设计的基线特征预测中，存在哪些局限性与风险？

主要发现

• 在 0.7 阈值下，基于 GPT-4o 的评估（ListMatch-LM）始终优于基于 BERT 的评估（ListMatch-BERT），表明其具备更优的上下文理解与相似度检测能力。
• 0.7 的 BERT 评分阈值被选定为精确率与召回率之间的最佳平衡点，有效减少了特征匹配中的假阳性与假阴性。
• 人工介入评估证实，专家确认的匹配结果与 GPT-4o 的预测高度一致，验证了其作为评估工具的可靠性。
• LLaMa3-70B-Instruct 和 GPT-4o 均能通过少样本提示法生成合理可信的基线特征列表，证明了人工智能辅助试验设计的可行性。
• 该基准揭示，当前语言模型虽能生成相关基线特征，但仍需优化以减少遗漏与对常见模式的过度拟合。
• 语言模型中的社会偏见可能被传递至基线特征预测中，可能导致受试者群体代表性失衡，削弱试验的普适性。

Figure 2: Prompt template for generation (in zero-shot setting) and evaluation