[논문 리뷰] BioAgent Bench: An AI Agent Evaluation Suite for Bioinformatics

Dionizije Fa, Marko Čuljak외 2명|arXiv (Cornell University)|2026. 01. 29.

Cancer Genomics and Diagnostics인용 수 0

한 줄 요약

BioAgent Bench는 엔드-투-엔드 생물정보학 파이프라인의 수행 능력을 측정하고, 교란에 대한 강건성을 평가하며, 여러 해너스들(harnesses)에서 개방형 가중치(open-weight) 대 폐쇄형 가중치(closed-weight) 모델을 비교하기 위한 벤치마크 데이터셋 및 평가 체인을 제공합니다.

ABSTRACT

This paper introduces BioAgent Bench, a benchmark dataset and an evaluation suite designed for measuring the performance and robustness of AI agents in common bioinformatics tasks. The benchmark contains curated end-to-end tasks (e.g., RNA-seq, variant calling, metagenomics) with prompts that specify concrete output artifacts to support automated assessment, including stress testing under controlled perturbations. We evaluate frontier closed-source and open-weight models across multiple agent harnesses, and use an LLM-based grader to score pipeline progress and outcome validity. We find that frontier agents can complete multi-step bioinformatics pipelines without elaborate custom scaffolding, often producing the requested final artifacts reliably. However, robustness tests reveal failure modes under controlled perturbations (corrupted inputs, decoy files, and prompt bloat), indicating that correct high-level pipeline construction does not guarantee reliable step-level reasoning. Finally, because bioinformatics workflows may involve sensitive patient data, proprietary references, or unpublished IP, closed-source models can be unsuitable under strict privacy constraints; in such settings, open-weight models may be preferable despite lower completion rates. We release the dataset and evaluation suite publicly.

연구 동기 및 목표

• AI 에이전트에 적합한 엔드-투-엔드 생물정보학 작업의 벤치마크 데이터셋 제공.
• 에이전트 기반 워크플로우에서 프런티어의 폐쇄형 소스(closed-source) 모델과 개방형 가중치(open-weight) 모델을 비교.
• 제어된 교란 및 데이터 손상 하에서 에이전트 파이프라인의 강건성 평가.
• 전사 기록을 남기고 진행 상황을 평가하며 결과를 점수화하는 평가 체계 제공.
• 개방형 가중치 모델이 유리한 시나리오를 강조하여 프라이버시를 의식한 배치를 촉진합니다.

제안 방법

• RNA-seq, 변이 호출, 메타유전체학 등 엔드-투-엔드 생물정보학 작업 정의.
• 작업 프롬프트 및 필요한 입력/참조 데이터를 사용해 구체적인 출력 형식(예: CSV)을 갖는 평가 단위를 구성합니다.
• 하네스(Claude Code, Codex CLI, OpenCode)와 단계 완료 및 최종 산출물 평가를 위한 LLM 평가자를 통해 에이전트를 평가합니다.
• 교란 테스트(손상된 입력, 미끼, 프롬프트 팽창)를 포함해 강건성을 평가합니다.
• 완료율을 주요 지표로 측정하고 기획 품질 및 실패 모드를 분석합니다.
• 작업 및 모델 수준의 히트맵과 강건성 통계로 결과를 보고합니다.

Figure 1: An overview of BioAgent Bench. Inputs to LLM agents consist of a task prompt, input data, and reference data. While solving the provided task, an agent can use general-purpose packages or specialized bioinformatics tools. After the agent finishes generation, LLM judge compares its outputs

실험 결과

연구 질문

• RQ1 프런티어의 폐쇄형 소스 모델이 최소한의 보강으로 다단계 생물정보학 파이프라인을 엔드투엔드로 완성할 수 있는가?
• RQ2 생물정보학 작업 전반에 걸친 완료율과 강건성에서 개방형 가중치 모델이 폐쇄형 모델과 어떻게 비교되는가?
• RQ3 에이전트 기반 생물정보학 워크플로우에서 기획 품질과 파이프라인 완성도 사이의 관계는 무엇인가?
• RQ4 입력 손상, 미끼, 프롬프트 팽창 하에서 생물정보학 에이전트 파이프라인에서 어떤 실패 모드가 발생하는가?
• RQ5 교란에 대한 강건성이 작업과 해너스들 간에 어떻게 다르게 나타나는가?

주요 결과

• 프런티어 모델은 파이프라인 완성도에서 높은 성과를 보이며, Claude Opus 4.5가 100%, Gemini 3 Pro, GPT-5.2, Sonnet 4.5가 90% 이상을 상회합니다.
• 개방형 가중치 모델은 평균적으로 뒤처지며, Codex CLI에서 GLM-4.7이 82.5%의 완성도를 보인 가장 높은 수치를 기록하고, 다른 모델은 대략 65% 내외입니다.
• 기획 품질은 완성도와 상관관계가 있지만(피어슨 r = 0.61), 모든 모델에서 성공을 결정적으로 예측하지는 않습니다.
• 강건성 테스트는 교란 입력, 미끼, 프롬프트 팽창에 대한 취약한 단계별 추론을 드러내며, 프롬프트 팽창은 과제당 평균 28%의 완료 감소를 유발합니다.
• 폐쇄형 모델은 오류 수정 루프에 취약한 반면, 프런티어 모델은 더 자주 회복하고 파이프라인을 완성합니다.
• 개방형 가중치 모델은 완료율이 낮더라도 프라이버시 제약이 있는 상황에서 선호될 수 있습니다.

Figure 2: Model-task completion heatmap. The left panel shows a pairwise completion matrix: rows and columns correspond to models and tasks, respectively, and each cell reports the completion rate (in %) for each model and task pair. Cell color encodes the completion rate, with numeric annotations s