[논문 리뷰] Agent Laboratory: Using LLM Agents as Research Assistants

Samuel Schmidgall, Yusheng Su외 8명|arXiv (Cornell University)|2025. 01. 08.

Multi-Agent Systems and Negotiation인용 수 24

한 줄 요약

Agent Laboratory는 인간 연구 아이디어를 받아 세 가지 단계(문헌 고찰, 실험, 보고서 작성)를 통해 완전한 연구 산출물(코드 저장소 및 논문)을 생성하는 자율적인 LLM-에이전트 프레임워크로, 각 단계에서의 인간 피드백이 품질을 향상시키고 상당한 비용 절감을 가져옵니다.

ABSTRACT

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.

연구 동기 및 목표

• 자율적이면서도 인간의 지도가 있는 머신 러닝 연구 워크플로우를 가능하게 하여 과학적 발견을 가속화한다.
• 산출물 품질을 유지하거나 향상시키면서 연구 비용을 낮춘다.
• 문헌 고찰, 실험, 보고를 처리하는 오픈소스이자 컴퓨팅 유연한 프레임워크를 제공한다.
• 여러 LLM 백엔드를 평가하여 실험 품질, 보고 품질 및 유용성 간의 균형을 이해한다.
• 자율 모드와 코파일럿 모드를 평가하고 연구 산출물에 대한 영향을 정량화한다.

제안 방법

• 세 단계 파이프라인: 문헌 고찰, 실험, 보고서 작성.
• 박사 및 박사후 연구원 에이전트가 협력하여 실험을 계획하고, 문헌을 큐레이션하며, 데이터 준비 및 모델링 단계들을 수립한다.
• MLE-Solver는 점진적으로 ML 코드를 생성, 테스트, 정제하며 채점/보상 모델과 자기 성찰을 통해 고품질 구현으로 수렴한다.
• Paper-Solver는 LaTeX 기반 학술 보고서를 생성·정제하며 arXiv 접근 및 자동 리뷰를 통해 NeurIPS 스타일의 피드백을 시뮬레이션한다.
• NeurIPS 스타일의 평가는 자동 검토와 인간 검토를 비교하여 산출물의 정합성과 품질을 평가한다.
• Co-pilot 모드는 각 하위 작업 후에 인간 검토 지점을 도입하여 진행하기 전에 결과물을 수정한다.

실험 결과

연구 질문

• RQ1 Agent Laboratory는 엔드투엔드 자율 구성을 대 코파일럿 구성과 비교하여 어떻게 수행하는가?
• RQ2 어떤 언어 모델 백엔드가 실험 품질, 보고 품질, 유용성의 최적 균형을 제공하는가?
• RQ3 다양한 단계에서의 인간 피드백이 전반적인 연구 품질에 미치는 영향은 무엇인가?
• RQ4 백엔드별 Agent Laboratory의 비용 및 런타임 특성은 무엇인가?
• RQ5 Agent Laboratory가 확립된 벤치마크에서 경쟁력 있는 머신러닝 코드와 연구 산출물을 달성할 수 있는가?

주요 결과

• 자율 출력은 백엔드에 따라 다르며, o1-preview가 가장 높은 활용도와 보고 품질을 제공하는 반면, o1-mini가 가장 높은 실험 품질을 낳고 gpt-4o는 일반적으로 저조하다.
• 사람은 일관되게 자동 평가를 재검토하고, 자동 검토자는 인간 평가와 비교하여 품질을 과대평가하는 경향이 있다.
• 코파일럿 모드는 자율 모드보다 전반적 점수가 더 높아 각 단계에서의 인간 지도의 이점을 시사한다.
• Agent Laboratory는 연구 비용을 크게 줄이며 이전 자율 방법에 비해 최대 84%의 비용 절감을 달성한다; 대표적인 비용은 gpt-4o 백엔드를 사용한 논문당 $2.33이다.
• MLE-Solver는 MLE-Bench 도전 과제의 부분 집합에서 최첨단과 같은 성능을 달성하며, 비교 대상보다 일관성과 메달 수가 더 높다.
• 모드에 관계없이 자율 실행의 논문 품질은 종종 일반적인 NeurIPS 수락 임계치보다 낮아져 최상위 학회지에 대한 추가 정교화가 필요하다는 것을 강조한다.