[論文レビュー] BioPlanner: Automatic Evaluation of LLMs on Protocol Planning in Biology

Odhran O’Donoghue, Aleksandar Shtedritski+5 more|arXiv (Cornell University)|Oct 16, 2023

Topic Modeling被引用数 6

ひとこと要約

この論文では、擬似コード表現を用いて生物学的プロトコル計画における大規模言語モデル（LLM）の自動評価フレームワークであるBioPlannerを紹介する。新規のデータセットであるBioProtを提案し、GPT-4が自然言語記述と定義されたアクション空間から擬似コードを再構築することで、正確で実行可能なプロトコルを生成できることを示し、実際に実験室で1つのプロトコルを正当化した。

ABSTRACT

The ability to automatically generate accurate protocols for scientific experiments would represent a major step towards the automation of science. Large Language Models (LLMs) have impressive capabilities on a wide range of tasks, such as question answering and the generation of coherent text and code. However, LLMs can struggle with multi-step problems and long-term planning, which are crucial for designing scientific experiments. Moreover, evaluation of the accuracy of scientific protocols is challenging, because experiments can be described correctly in many different ways, require expert knowledge to evaluate, and cannot usually be executed automatically. Here we present an automatic evaluation framework for the task of planning experimental protocols, and we introduce BioProt: a dataset of biology protocols with corresponding pseudocode representations. To measure performance on generating scientific protocols, we use an LLM to convert a natural language protocol into pseudocode, and then evaluate an LLM's ability to reconstruct the pseudocode from a high-level description and a list of admissible pseudocode functions. We evaluate GPT-3 and GPT-4 on this task and explore their robustness. We externally validate the utility of pseudocode representations of text by generating accurate novel protocols using retrieved pseudocode, and we run a generated protocol successfully in our biological laboratory. Our framework is extensible to the evaluation and improvement of language model planning abilities in other areas of science or other areas that lack automatic evaluation.

研究の動機と目的

• 生物学分野におけるLLMが生成する科学的プロトコルの信頼性の高い自動評価手法の不足に応えること。
• プロトコル生成を擬似コード関数を用いた複数選択型タスクに変換することで、長期間計画の評価を向上させること。
• 生物学的に正確なプロトコルの収集済みデータセットを用いて、再現可能でスケーラブルなベンチマークを構築すること。
• LLMを用いて生成されたプロトコルを実際に実験室で実行することで、フレームワークの実用的価値を検証すること。
• 構造的かつ拡張可能な評価フレームワークを提供することで、今後の自動科学的実験研究を可能にすること。

提案手法

• フレームワークは、『教師』モデル（GPT-4）を用いて、プロトコル固有の擬似関数を用いて自然言語プロトコルを段階的な擬似コードに変換する。
• 『生徒』モデルは、高水準のプロトコル記述と事前に定義された許容可能な擬似関数の集合から、正しい擬似コードを再構築できるかを評価する。
• プロトコル生成を複数選択型タスクとして扱うことで、BLEU や BERTScore などの従来の自然言語メトリクスよりも耐障害性を高める。
• BioProtデータセットは、公開済みの生物学的プロトコルから構築され、専門家が検証済みの自然言語と対応する擬似コード表現を含む。
• ツールアクセス（例：BioProtの検索）を持つLLMエージェントが関連する擬似関数を取得し、それらの関数のみを用いて新しいプロトコルを構成する。
• 実世界の検証では、GPT-4が生成したプロトコルを生物学的実験室で実行し、正しさと実行可能性を確認する。

Figure 1: Automatic evaluation of protocol generation. The teacher model is given full information about a scientific experiment protocol – title, description, and step-by-step instructions. It is prompted to generate pseudo functions that allow the execution of the protocol. The student model is gi

実験結果

リサーチクエスチョン

• RQ1 擬似コード表現は、自然言語メトリクスに比べて、LLMが生成する生物学的プロトコルの評価をより耐障害的かつ正確に行えるか？
• RQ2 GPT-3.5 や GPT-4 といったLLMは、高水準のプロトコル記述と定義されたアクション空間から、正確な擬似コードをどの程度再構築できるか？
• RQ3 収集済みデータセットから抽出された擬似関数のみを用いて、LLMエージェントが新しい実行可能な生物学的プロトコルを生成できるか？
• RQ4 GPT-4が生成したプロトコルは、実際に生物学的実験室で成功裏に実行できるほど十分に正確で完全か？
• RQ5 擬似コード再構築評価と直接的な自然言語生成評価の両方において、LLMのプロトコル計画性能にどのような差が生じるか？

主な発見

• GPT-4は、自然言語プロトコルを正確に擬似コードに変換でき、プロトコル計画能力の信頼性ある評価を可能にした。
• 提案された擬似コードベースの評価フレームワークは、アクションの順序や物質間の関係といった重要な手順的詳細を捉えることができ、従来の自然言語メトリクスを上回った。
• GPT-4を搭載したLLMエージェントは、BioProtデータセットから抽出された擬似関数のみを用いて、エサリチア・コリの氷結晶化保存用の新しいプロトコルを正常に生成した。
• 生成されたプロトコルは実際に実験室で実行され、凍結保存後に生存するエサリチア・コリのコロニーが回収され、その正確性と実用性が確認された。
• このフレームワークは、生物学的分野に限らず、長期間計画タスクにおけるLLMのスケーラブルで人為的介入が最小限の評価を可能にした。
• 適切な評価およびリtrievalメカニズムを備えた場合、LLMは高い信頼性で実験室で使用可能な実験プロトコルを生成できることを本研究は示した。

Figure 2: Creation of pseudofunction and pseudocode data The model is prompted to generate pseudofunctions and pseudocode based on a target protocol. This generated code is automatically debugged using a feedback error loop, and then manually reviewed. Generated pseudofunctions are used to define th