[論文レビュー] MLGym: A New Framework and Benchmark for Advancing AI Research Agents

Deepak Nathani, Lovish Madaan+15 more|ArXiv.org|Feb 20, 2025

Semantic Web and Ontologies被引用数 4

ひとこと要約

MLGymはGymベースのフレームワークとBenchを提供し、オープンエンドML研究タスクで動作するAI研究エージェントを評価・開発する。ツール、メモリ、多様なドメインを含む。 frontier LLMを評価し、新しいマルチタスク評価指標を提案する。

ABSTRACT

We introduce Meta MLGym and MLGym-Bench, a new framework and benchmark for evaluating and developing LLM agents on AI research tasks. This is the first Gym environment for machine learning (ML) tasks, enabling research on reinforcement learning (RL) algorithms for training such agents. MLGym-bench consists of 13 diverse and open-ended AI research tasks from diverse domains such as computer vision, natural language processing, reinforcement learning, and game theory. Solving these tasks requires real-world AI research skills such as generating new ideas and hypotheses, creating and processing data, implementing ML methods, training models, running experiments, analyzing the results, and iterating through this process to improve on a given task. We evaluate a number of frontier large language models (LLMs) on our benchmarks such as Claude-3.5-Sonnet, Llama-3.1 405B, GPT-4o, o1-preview, and Gemini-1.5 Pro. Our MLGym framework makes it easy to add new tasks, integrate and evaluate models or agents, generate synthetic data at scale, as well as develop new learning algorithms for training agents on AI research tasks. We find that current frontier models can improve on the given baselines, usually by finding better hyperparameters, but do not generate novel hypotheses, algorithms, architectures, or substantial improvements. We open-source our framework and benchmark to facilitate future research in advancing the AI research capabilities of LLM agents.

研究の動機と目的

• オープンエンドMLタスクを実行するAI研究エージェントを評価するGymベースのフレームワークを提供する。
• CV、NLP、RL、ゲーム理論にまたがる13の多様なAI研究タスクを含むMLGym-Benchを提供する。
• AI研究エージェントのための異なる学習アルゴリズム（RL、カリキュラム学習、オープンエンド学習）の評価を可能にする。
• 実際の研究ワークフローを反映する評価出力（モデル、アルゴリズム、コード）を柔軟に扱えるようにする。
• 異種の指標を持つタスク間でエージェントを比較する新しい評価指標を導入する。

提案手法

• エージェントを履歴、ツール、コスト管理を備えた基礎LLMのラッパーとして定義する。
• EnvironmentsをDockerサンドボックスで実行されるGymnasiumベースのシェルとして実装し、非ルートアクセスを許可する。
• DatasetをローカルデータとHugging Faceデータを読み取り専用保証で分離可能な抽象化として提供する。
• タスクを datasets、environments、evaluation scripts、budgets を含む設定ファイルで記述する。
• ACIベースのコマンド、文献検索、メモリモジュール、権限管理を含むツールを拡張する。
• 検証と提出コマンド、知識統合のための文献解析を含む拡張評価フローを提供する。

実験結果

リサーチクエスチョン

• RQ1 統一的なGymベースのフレームワークは複数ドメインにまたがるオープンエンドAI研究タスクをサポートできるか？
• RQ2 フロンティアLLMはMLGym-Bench内で最先端（SOTA）に達するか、あるいは新規貢献を生み出すか？
• RQ3 標準化された評価プロトコルの下で、どのアーティファクト（モデル、アルゴリズム、コード）がAI研究タスクの進歩を最もよく反映するか？
• RQ4 提案されたメモリモジュールとツール強化設定は長期的なAI研究ワークフローを改善するか？
• RQ5 MLGymは既存のエージェントフレームワークやベンチマークと比較してオープンエンドな研究タスクを実現する点でどのように優れているか？

主な発見

• MLGymはオープンエンドAI研究タスクの評価を可能にし、統一されたGym環境内でエージェントのRLベースの学習をサポートする。
• MLGym-BenchはCV、NLP、RL、ゲーム理論にまたがる13の多様なタスクを含み、AI研究ワークフローを評価する。
• フロンティアLLMは主にハイパーパラメータ調整を通じてベースラインを改善する傾向があり、新規仮説やアーキテクチャの生成による改善は限定的だった。
• フレームワークはモデルウェイト、RLアルゴリズム、研究戦略を表すコードなど、柔軟な評価アーティファクトを可能にする。
• 異なる性能指標を持つタスク間でエージェントを公正に比較する新しい評価指標を提案する。
• 実験では、メモリとツールの強化が長期的な学習設定で訓練構成を保持・再利用するのに役立つことが示された。