[논문 리뷰] LAB-Bench: Measuring Capabilities of Language Models for Biology Research

Jon M. Laurent, Joseph D. Janizek외 7명|arXiv (Cornell University)|2024. 07. 14.

Biomedical Text Mining and Ontologies인용 수 14

한 줄 요약

LAB-Bench는 2,400개가 넘는 MCQ를 포함한 대규모 다중 작업 벤치마크로, 문헌 회상, 그림/표 해석, 데이터베이스 접근, 프로토콜 작성, DNA/단백질 서열 조작 등 실용 생물학 연구 과제에서 프런티어 언어 모델을 평가하고, 인간과의 비교 및 공개 서브셋 제공을 포함합니다.

ABSTRACT

There is widespread optimism that frontier Large Language Models (LLMs) and LLM-augmented systems have the potential to rapidly accelerate scientific discovery across disciplines. Today, many benchmarks exist to measure LLM knowledge and reasoning on textbook-style science questions, but few if any benchmarks are designed to evaluate language model performance on practical tasks required for scientific research, such as literature search, protocol planning, and data analysis. As a step toward building such benchmarks, we introduce the Language Agent Biology Benchmark (LAB-Bench), a broad dataset of over 2,400 multiple choice questions for evaluating AI systems on a range of practical biology research capabilities, including recall and reasoning over literature, interpretation of figures, access and navigation of databases, and comprehension and manipulation of DNA and protein sequences. Importantly, in contrast to previous scientific benchmarks, we expect that an AI system that can achieve consistently high scores on the more difficult LAB-Bench tasks would serve as a useful assistant for researchers in areas such as literature search and molecular cloning. As an initial assessment of the emergent scientific task capabilities of frontier language models, we measure performance of several against our benchmark and report results compared to human expert biology researchers. We will continue to update and expand LAB-Bench over time, and expect it to serve as a useful tool in the development of automated research systems going forward. A public subset of LAB-Bench is available for use at the following URL: https://huggingface.co/datasets/futurehouse/lab-bench

연구 동기 및 목표

• 최전선 LLM의 능력과 교과서 문제를 넘는 실용 생물학 연구 과제를 수행하는 능력을 평가합니다.
• 문헌, 그림, 표, 데이터베이스, 프로토콜 및 서열 전반에 걸친 회상, 추론 및 조작을 평가합니다.
• 모델의 성능을 박사 학위 수준의 생물학자와 비교하고 도구 통합이나 더 나은 디스트랙터 설계가 필요한 격차를 식별합니다.
• 커뮤니티 사용을 위한 공개 서브셋을 제공하고 향후 AI 지원 생물학 작업흐름을 위한 벤치마크를 제시합니다.

제안 방법

• LitQA2, SuppQA, FigQA, TableQA, DbQA, ProtocolQA, SeqQA, CloningScenarios에 걸친 2,400개가 넘는 다지선다형 문제로 데이터세트를 구성합니다.
• 어려운 범주에 대해서는 수작업 전문가 생성과 확장 가능한 작업에 대해서는 프로그램식 생성을 결합합니다.
• 도구 없이 0-shot 체인오브생각 프롬핑을 사용해 프런티어 모델을 평가하고 정보가 부족할 때 모델이 답을 거부하도록 허용합니다.
• 선정된 서브세트에서 인간 생물학 PhD와의 성능을 비교하고 정확도 및 정밀도 지표를 보고합니다.
• 재현 가능한 벤치마킹을 가능하게 하는 프롬프트, 코드, 공개 데이터 서브셋을 제공합니다.

Figure 1: Sample questions for each of the categories provided in this work. Note that DbQA and SeqQA consist of many different subtasks, and only one task is presented here. The font size of the distance annotations in the FigQA example have been increased for legibility here.

실험 결과

연구 질문

• RQ1 외부 도구 없이 최전선 언어 모델이 실제 생물학 연구 과제에서 어떻게 수행합니까?
• RQ2 LitQA2, SuppQA, FigQA, TableQA, DbQA, ProtocolQA, SeqQA, CloningScenarios에서 모델과 인간 전문가 간의 성능 차이는 무엇입니까?
• RQ3 이들 과제에서 모델이 회수, 추론 또는 시험 응시 전략에 얼마나 의존합니까?
• RQ4 서열 조작 및 클로닝 워크플로 평가 시 모델의 성능은 인간 연구실과 어떻게 비교됩니까?

주요 결과

• 모델은 LAB-Bench 과제 전반에서 큰 변동성을 보이며, 일부 범주에서 답변 의향이 더 크고 검색이 많은 작업에서 상당한 거부를 보입니다.
• LitQA2 질문은 검색 보강 설정에서 무작위보다 높은 성능을 보이며, 검색 없이 일부 프런티어 모델에서는 무작위 이하로 떨어질 수 있습니다.
• FigQA 및 DbQA은 특히 도전적이며, 대부분의 모델에서 거의 무작위에 가까운 정밀도를 보이고 일부를 제외하고는(예: TableQA의 Claude 3.5 Sonnet)
• SeqQA의 전반적 정밀도는 40-50%이며, 단순 프라이머 설계 작업과 같은 일부 하위 작업은 90% 이상의 정밀도를 보입니다.
• Cloning Scenarios는 인간 성능에 훨씬 못 미치며, 복잡하고 실제 분자 클로닝 추론에서 큰 격차를 시사합니다.
• 대부분의 과제에서 인간이 모델보다 일관되게 우수하지만, 일부 과제에서 격차가 더 좁아지며(예: Claude 3.5 Sonnet의 TableQA)

(a)