[论文解读] AutoTrial: Prompting Language Models for Clinical Trial Design

Zifeng Wang, Cao Xiao+1 more|arXiv (Cornell University)|May 19, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

AutoTrial 是一个通过指令微调、检索增强生成（RAG）和多步推理监督进行微调的语言模型，能够生成临床准确、流畅且连贯的临床试验纳入标准。其在人类评估中相较于 GPT-3.5 的胜率高达 60%，同时参数量显著更少，展现出在可控、知识增强和可解释性临床试验设计方面的强大性能。

ABSTRACT

Clinical trials are critical for drug development. Constructing the appropriate eligibility criteria (i.e., the inclusion/exclusion criteria for patient recruitment) is essential for the trial's success. Proper design of clinical trial protocols should consider similar precedent trials and their eligibility criteria to ensure sufficient patient coverage. In this paper, we present a method named AutoTrial to aid the design of clinical eligibility criteria using language models. It allows (1) controllable generation under instructions via a hybrid of discrete and neural prompting, (2) scalable knowledge incorporation via in-context learning, and (3) explicit reasoning chains to provide rationales for understanding the outputs. Experiments on over 70K clinical trials verify that AutoTrial generates high-quality criteria texts that are fluent and coherent and with high accuracy in capturing the relevant clinical concepts to the target trial. It is noteworthy that our method, with a much smaller parameter size, gains around 60% winning rate against the GPT-3.5 baselines via human evaluations.

研究动机与目标

• 解决因纳入标准设计不佳导致的临床试验高失败率问题，此类问题常引发招募困难和高昂的方案修改成本。
• 通过使用语言模型自动化生成高质量的纳入标准，缩短试验方案开发的时间和成本。
• 通过指令微调和显式推理监督，实现对临床试验标准的可控、基于知识且可解释的生成。
• 通过神经提示和外部检索支持增量知识更新，减少对大规模重训练的依赖。
• 通过检索增强生成整合既往试验数据和领域特定知识，提升生成标准的临床相关性和准确性。

提出的方法

• 使用指令微调对语言模型进行微调，使其生成的纳入标准精确遵循用户指定的目标疾病和治疗方案要求。
• 将检索增强生成（RAG）与外部密集检索器结合，在生成过程中动态引入以往成功试验的相关纳入标准。
• 采用神经提示技术维护并更新内部知识表征，实现在无需完整重训练的情况下高效进行增量学习。
• 应用多步推理监督，为每个生成的标准生成明确的推理过程，提升可解释性与临床可信度。
• 采用混合提示框架，结合离散指令模板与连续神经提示，平衡生成的控制性与流畅性。
• 在包含 70,000 余条临床试验方案的大规模数据集上端到端训练模型，数据按指令类型划分，以支持增量学习与评估。

Figure 1: The workflow of the proposed AutoTrial . Step I: pre-train on unlabeled trial documents with prompts to mimic the multi-step reasoning. Step II: finetune the model to generate criteria under instructions. Step III: generate diverse target criteria by instructions with large-scale sampling

实验结果

研究问题

• RQ1 仅依赖指令和基于检索的知识，微调后的语言模型能否生成临床准确、流畅且连贯的临床试验纳入标准？
• RQ2 检索增强生成与多步推理监督的集成如何提升生成临床标准的质量与可解释性？
• RQ3 在临床试验设计任务中，更小的指令微调模型在多大程度上能超越更大的通用大语言模型（如 GPT-3.5）？
• RQ4 在不进行完整重训练的情况下，当引入新的指令类型时，增量学习机制在维持性能方面的有效性如何？
• RQ5 各组件——推理监督、RAG 和神经提示——对模型整体性能的相对贡献分别是什么？

主要发现

• AutoTrial 在临床准确性上的 F1 得分为 0.91，精确率为 0.91，召回率为 0.92，Jaccard 得分为 0.84，显著优于所有基线模型，后者在这些指标上的得分均低于 0.5。
• 在人类评估中，AutoTrial 在试验设计任务中对 GPT-3.5-turbo-0301 的胜率达到 60%，尽管参数量远小于后者，仍展现出强大性能。
• 消融实验表明，若移除 RAG 或神经提示，性能将显著下降，证实二者在知识整合与生成控制中的关键作用。
• AutoTrial 的增量学习变体有效缓解了灾难性遗忘，在更新四倍以上数据后仍保持强劲性能，尽管随时间推移略逊于完整重训练的基线模型。
• 多步推理监督提升了模型的可解释性，并在纳入与排除标准之间实现了性能平衡，与完整模型相比，排除标准质量仅出现轻微下降。
• 该模型在知识整合方面展现出良好的可扩展性与效率，可通过神经提示实现无需完整重训练的持续更新，适用于动态演化的临床数据库中的实际部署。