[論文レビュー] Agent Laboratory: Using LLM Agents as Research Assistants

Samuel Schmidgall, Yusheng Su+8 more|arXiv (Cornell University)|Jan 8, 2025

Multi-Agent Systems and Negotiation被引用数 24

ひとこと要約

Agent Laboratory は、人間の研究アイデアを受け取り、三つの段階（文献レビュー、実験、報告書作成）を通じて完全な研究成果物（コードリポジトリと論文）を生成する自律型 LLM-エージェント・フレームワークであり、各段階での人間のフィードバックにより品質が向上し、顕著なコスト削減が実現されます。

ABSTRACT

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.

研究の動機と目的

• 科学的発見を加速させるために、自律的でありながら人間が導く機械学習研究ワークフローを実現する。
• 研究コストを削減しつつ、出力品質を維持または向上させる。
• 文献調査、実験、報告を処理するオープンソースで計算リソース柔軟なフレームワークを提供する。
• 実験品質、報告品質、および有用性のトレードオフを理解するために複数のLLMバックエンドを評価する。
• 自動運転モードとコ・パイロットモードを比較し、研究成果への影響を定量化する。

提案手法

• 三段階パイプライン：文献調査、実験、報告書作成。
• PhDエージェントとポスドクエージェントが協力して実験計画を立て、文献を整理し、データ準備とモデリングの手順を策定する。
• MLE-Solver はスコアリング/リワードモデルと自己反省を用いて、機械学習コードを生成・試験・改良し、高品質な実装へと収束させる。
• Paper-Solver は LaTeX ベースの学術レポートを生成・改良し、arXiv へのアクセスと自動レビュを活用して NeurIPS 風のフィードバックを模擬する。
• NeurIPS風の評価は、自動化されたレビューと人間のレビューを比較して、出力の整合性と品質を評価する。
• コ・パイロットモードは、各サブタスクの後に人間のチェックポイントを導入して出力を修正し、前進前に品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Agent Laboratory はエンドツーエンドの自律構成とコ・パイロット構成でどのように性能を発揮するか。
• RQ2 どの言語モデルバックエンドが実験品質、報告品質、有用性の最適なバランスを提供するか。
• RQ3 異なる段階での人間のフィードバックが全体の研究品質に与える影響は何か。
• RQ4 バックエンドごとの Agent Laboratory のコストと実行時間特性はどうか。
• RQ5 Agent Laboratory は確立されたベンチマーク上で競争力のある機械学習コードと研究成果を達成できるか。

主な発見

• 自律的な出力はバックエンドによって異なり、o1-preview が最も高い有用性と報告品質を提供する一方、o1-mini は実験品質が最高で、gpt-4o は一般に劣る。
• 人間は自動評価を一貫して覆う傾向があり、 automated レビューは人間評価と比較して品質を過大評価しがちである。
• コ・パイロットモードは自律モードより総合スコアが高く、人間の指導が各段階での利点を示す。
• Agent Laboratory は研究コストを大幅に削減し、以前の自律的手法と比較して最大84%のコスト削減を達成する；代表的なコストは gpt-4o バックエンドで論文1件あたり 2.33ドル。
• mle-solver は MLE-Bench の課題の一部で state-of-the-art に近い性能を達成し、比較対象より一貫性とメダル数が高い。
• モードを問わず、自動運転実行では論文の品質がNeurIPSの受理閾値を満たさないことが多く、トップレベルの会議向けにはさらなる改良が必要である。