[논문 리뷰] BioPlanner: Automatic Evaluation of LLMs on Protocol Planning in Biology

Odhran O’Donoghue, Aleksandar Shtedritski외 5명|arXiv (Cornell University)|2023. 10. 16.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 생물학적 프로토콜 기획을 위한 LLM 평가 프레임워크인 BioPlanner을 소개한다. 이는 의사코드 표현을 사용하며, 새로운 데이터셋인 BioProt을 제안하고, GPT-4가 자연어 기술서와 정의된 동작 공간에서 의사코드를 재구성하여 정확하고 실행 가능한 프로토콜을 생성함으로써 실제 실험실 환경에서 한 프로토콜을 성공적으로 검증함을 보여준다.

ABSTRACT

The ability to automatically generate accurate protocols for scientific experiments would represent a major step towards the automation of science. Large Language Models (LLMs) have impressive capabilities on a wide range of tasks, such as question answering and the generation of coherent text and code. However, LLMs can struggle with multi-step problems and long-term planning, which are crucial for designing scientific experiments. Moreover, evaluation of the accuracy of scientific protocols is challenging, because experiments can be described correctly in many different ways, require expert knowledge to evaluate, and cannot usually be executed automatically. Here we present an automatic evaluation framework for the task of planning experimental protocols, and we introduce BioProt: a dataset of biology protocols with corresponding pseudocode representations. To measure performance on generating scientific protocols, we use an LLM to convert a natural language protocol into pseudocode, and then evaluate an LLM's ability to reconstruct the pseudocode from a high-level description and a list of admissible pseudocode functions. We evaluate GPT-3 and GPT-4 on this task and explore their robustness. We externally validate the utility of pseudocode representations of text by generating accurate novel protocols using retrieved pseudocode, and we run a generated protocol successfully in our biological laboratory. Our framework is extensible to the evaluation and improvement of language model planning abilities in other areas of science or other areas that lack automatic evaluation.

연구 동기 및 목표

• 생물학 분야에서 LLM이 생성한 과학적 프로토콜에 대한 신뢰할 수 있고 자동화된 평가 방법의 부족을 해결하기 위해.
• 프로토콜 생성을 의사코드 기반 함수를 활용한 다중선택형 유사 과제로 변환함으로써, LLM의 장기 계획 수행 능력을 향상시키기 위해.
• 생물학적으로 정확한 프로토콜로 구성된 정제된 데이터셋을 사용하여, 프로토콜 기획 과제에 대한 재현 가능하고 확장 가능한 벤치마크를 구축하기 위해.
• 실제 실험실에서 LLM을 사용하여 생성된 프로토콜를 성공적으로 실행함으로써 프레임워크의 실용적 유용성을 검증하기 위해.
• 미래의 자동 과학 실험 연구를 가능하게 하기 위해, 체계적이고 확장 가능한 평가 프레임워크를 제공하기 위해.

제안 방법

• 프레임워크는 '선생' 모델(GPT-4)을 사용하여 자연어 프로토콜을 프로토콜 전용 의사함수를 사용한 단계별 의사코드로 변환한다.
• 학생 모델은 고수준의 프로토콜 기술서와 사전 정의된 허용 가능한 의사함수 집합에서 정확한 의사코드를 재구성할 수 있는 능력을 평가한다.
• 이 방법은 프로토콜 생성을 다중선택형 과제로 간주하여, BLEU나 BERTScore와 같은 전통적인 자연어 메트릭보다 더 뛰어난 강건성을 확보한다.
• BioProt 데이터셋은 공개된 생물학 프로토콜에서 수집되었으며, 전문가가 검증한 자연어 기술서와 해당 의사코드 표현을 포함한다.
• 도구 접근 권한(예: BioProt 검색)이 있는 LLM 에이전트는 관련 의사함수를 검색하고, 오직 그 함수들만을 사용하여 새로운 프로토콜을 조립한다.
• 실세계 검증은 GPT-4가 생성한 프로토콜을 생물학 실험실에서 실행하여 정확성과 실행 가능성 여부를 확인하는 방식으로 이루어진다.

Figure 1: Automatic evaluation of protocol generation. The teacher model is given full information about a scientific experiment protocol – title, description, and step-by-step instructions. It is prompted to generate pseudo functions that allow the execution of the protocol. The student model is gi

실험 결과

연구 질문

• RQ1 의사코드 표현은 자연어 메트릭보다 더 강건하고 정확한 LLM 생성 생물학적 프로토콜 평가를 가능하게 하는가?
• RQ2 GPT-3.5 및 GPT-4와 같은 LLM은 고수준의 프로토콜 기술서와 정의된 동작 공간에서 정확한 의사코드를 얼마나 잘 재구성할 수 있는가?
• RQ3 정제된 데이터셋에서 검색된 의사함수만을 사용하는 LLM 에이전트는 새로운 실행 가능한 생물학적 프로토콜을 생성할 수 있는가?
• RQ4 GPT-4가 생성한 프로토콜은 실제 생물학 실험실에서 성공적으로 실행될 정도로 충분히 정확하고 완전한가?
• RQ5 의사코드 재구성 평가 방식과 직접적인 자연어 생성 평가 방식 간에 LLM의 프로토콜 기획 성능는 어떻게 달라지는가?

주요 결과

• GPT-4는 자연어 프로토콜을 의사코드로 정확하게 변환할 수 있었으며, 이는 프로토콜 기획 능력에 대한 신뢰할 수 있는 평가를 가능하게 했다.
• 제안된 의사코드 기반 평가 프레임워크는 행동 순서나 물질 간 관계와 같은 핵심 절차적 세부 정보를 포착함으로써, 전통적인 자연어 메트릭보다 뛰어난 성능을 보였다.
• GPT-4 기반의 LLM 에이전트는 BioProt 데이터셋에서 검색한 의사함수들만을 사용하여 E. coli 동결보존을 위한 새로운 프로토콜을 성공적으로 생성했다.
• 생성된 프로토콜는 실제 실험실에서 성공적으로 실행되었으며, 동결 저장 후 생존 가능한 E. coli 배양주가 회수되어 정확성과 실용성을 확인했다.
• 이 프레임워크는 생물학 분야뿐 아니라 장기 계획 과제에 대한 LLM 평가를 저비용, 인간 간섭 최소화로 확장 가능하게 했다.
• 적절한 평가 및 검색 메커니즘이 제공될 경우, LLM은 높은 신뢰성으로 실험실 사용이 가능한 실험 프로토콜을 생성할 수 있음을 입증했다.

Figure 2: Creation of pseudofunction and pseudocode data The model is prompted to generate pseudofunctions and pseudocode based on a target protocol. This generated code is automatically debugged using a feedback error loop, and then manually reviewed. Generated pseudofunctions are used to define th