[论文解读] BioPlanner: Automatic Evaluation of LLMs on Protocol Planning in Biology

Odhran O’Donoghue, Aleksandar Shtedritski+5 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用 6

一句话总结

本文提出了BioPlanner，一种基于伪代码表示的LLM在生物实验方案规划中的自动评估框架。该框架提出了一项新型数据集BioProt，并展示了GPT-4能够通过从自然语言描述和预定义操作空间中重构伪代码，生成准确且可执行的实验方案，成功地在真实实验室内验证了一项实验方案。

ABSTRACT

The ability to automatically generate accurate protocols for scientific experiments would represent a major step towards the automation of science. Large Language Models (LLMs) have impressive capabilities on a wide range of tasks, such as question answering and the generation of coherent text and code. However, LLMs can struggle with multi-step problems and long-term planning, which are crucial for designing scientific experiments. Moreover, evaluation of the accuracy of scientific protocols is challenging, because experiments can be described correctly in many different ways, require expert knowledge to evaluate, and cannot usually be executed automatically. Here we present an automatic evaluation framework for the task of planning experimental protocols, and we introduce BioProt: a dataset of biology protocols with corresponding pseudocode representations. To measure performance on generating scientific protocols, we use an LLM to convert a natural language protocol into pseudocode, and then evaluate an LLM's ability to reconstruct the pseudocode from a high-level description and a list of admissible pseudocode functions. We evaluate GPT-3 and GPT-4 on this task and explore their robustness. We externally validate the utility of pseudocode representations of text by generating accurate novel protocols using retrieved pseudocode, and we run a generated protocol successfully in our biological laboratory. Our framework is extensible to the evaluation and improvement of language model planning abilities in other areas of science or other areas that lack automatic evaluation.

研究动机与目标

• 解决生物学领域LLM生成的科学实验方案缺乏可靠、自动评估方法的问题。
• 通过将实验方案生成转化为类似多项选择题的任务（使用伪代码函数），提升LLM在长程规划任务中的评估鲁棒性。
• 创建一个可复现、可扩展的基准测试，用于评估LLM在实验方案规划任务中的表现，基于经过筛选的生物准确实验方案数据集。
• 通过使用LLM生成并成功执行真实实验室内实验方案，验证该框架的实际应用价值。
• 通过提供一个结构化、可扩展的评估框架，推动未来自动化科学实验研究的发展。

提出的方法

• 该框架使用‘教师’模型（GPT-4）将自然语言实验方案转换为使用特定实验伪函数的逐步伪代码。
• 评估‘学生’模型从高层次实验方案描述和预定义的可接受伪函数集合中重构正确伪代码的能力。
• 该方法将实验方案生成视为多项选择题任务，相比传统的自然语言指标（如BLEU或BERTScore）更具鲁棒性。
• BioProt数据集由公开可获取的生物学实验方案构建，其中自然语言描述和对应的伪代码表示均经过专家验证。
• 一个具备工具访问能力的LLM代理（例如，搜索BioProt）可检索相关伪函数，并仅使用这些函数组合生成新的实验方案。
• 真实世界验证包括在生物实验室中执行由GPT-4生成的实验方案，以确认其正确性和可行性。

Figure 1: Automatic evaluation of protocol generation. The teacher model is given full information about a scientific experiment protocol – title, description, and step-by-step instructions. It is prompted to generate pseudo functions that allow the execution of the protocol. The student model is gi

实验结果

研究问题

• RQ1 伪代码表示是否能够比自然语言指标更稳健、更准确地评估LLM生成的生物实验方案？
• RQ2 像GPT-3.5和GPT-4这样的LLM在多大程度上能够从高层次实验方案描述和预定义操作空间中重构出准确的伪代码？
• RQ3 一个LLM代理能否通过从经过筛选的数据集中检索到的伪函数，生成一项新颖且可执行的生物实验方案？
• RQ4 由GPT-4生成的实验方案是否足够准确和完整，足以在真实生物实验室中成功执行？
• RQ5 当通过伪代码重构与直接自然语言生成两种方式评估时，LLM在实验方案规划任务中的表现有何差异？

主要发现

• GPT-4展示了将自然语言实验方案准确转换为伪代码的能力，从而实现了对实验方案规划能力的可靠评估。
• 所提出的基于伪代码的评估框架优于传统自然语言指标，能够捕捉关键的程序性细节，如操作顺序和物质间关系。
• 由GPT-4驱动的LLM代理成功利用仅从BioProt数据集中检索到的伪函数，生成了一项关于大肠杆菌冷冻保存的新实验方案。
• 该生成的实验方案在真实实验室中成功执行，冷冻保存后成功恢复了活的大肠杆菌培养物，证实了其准确性和实用性。
• 该框架实现了对LLM在长程规划任务（生物学及其他领域）中评估的可扩展性，且人工干预极少。
• 本研究证明，通过适当的评估与检索机制，LLM能够以高可靠性生成可直接用于实验的实验方案。

Figure 2: Creation of pseudofunction and pseudocode data The model is prompted to generate pseudofunctions and pseudocode based on a target protocol. This generated code is automatically debugged using a feedback error loop, and then manually reviewed. Generated pseudofunctions are used to define th