[논문 리뷰] MARS: Modular Agent with Reflective Search for Automated AI Research

Jiefeng Chen, Bhavana Dalvi Mishra외 4명|arXiv (Cornell University)|2026. 02. 02.

Scientific Computing and Data Management인용 수 0

한 줄 요약

MARS는 Budget-Aware MCTS, Modular Decomposition, 및 Comparative Reflective Memory를 도입하여 AI 연구를 자동화하고, MLE-Bench에서 오픈 소스 최첨단 성능을 달성하며 가지 간 일반화가 강하게 나타난다.

ABSTRACT

Automating AI research differs from general software engineering due to computationally expensive evaluation (e.g., model training) and opaque performance attribution. Current LLM-based agents struggle here, often generating monolithic scripts that ignore execution costs and causal factors. We introduce MARS (Modular Agent with Reflective Search), a framework optimized for autonomous AI research. MARS relies on three pillars: (1) Budget-Aware Planning via cost-constrained Monte Carlo Tree Search (MCTS) to explicitly balance performance with execution expense; (2) Modular Construction, employing a "Design-Decompose-Implement" pipeline to manage complex research repositories; and (3) Comparative Reflective Memory, which addresses credit assignment by analyzing solution differences to distill high-signal insights. MARS achieves state-of-the-art performance among open-source frameworks on MLE-Bench under comparable settings, maintaining competitiveness with the global leaderboard's top methods. Furthermore, the system exhibits qualitative "Aha!" moments, where 63% of all utilized lessons originate from cross-branch transfer, demonstrating that the agent effectively generalizes insights across search paths.

연구 동기 및 목표

• AI 연구 자동화의 고유한 도전과제들(비용이 많이 드는 평가와 불투명한 기여도 귀속)을 제시하고 해결한다.
• 예산 인지 계획을 통해 성능과 계산 비용의 균형을 맞추는 프레임워크(MARS)를 제안한다.
• 아키텍처 복잡성을 관리하고 테스트 가능성을 높이기 위해 모듈식 저장소 수준 구성을 촉진한다.
• 인과 통찰을 추출하고 장기 탐색을 안내하기 위해 Comparative Reflective Memory를 도입한다.

제안 방법

• 효율성 주도 보상(Eq. 4)을 통해 실행 비용과 성능의 균형을 맞추기 위해 Budget-Aware Monte Carlo Tree Search (MCTS)를 구현한다.
• 모듈식 설계-분해-구현 파이프라인을 채택하여 단일 대형 스크립트를 독립적이고 테스트 가능한 모듈로 대체하고 원자적 업데이트를 위한 Diff-Based Editing을 가능하게 한다.
• Comparative Reflective Memory를 도입하여 현재 솔루션을 가장 잘 알려진 솔루션과 비교함으로써 높은 신호의 교훈을 추출하고 구조화된 디버깅 및 솔루션 교훈을 포함한다.
• 세 부분 프레임워크(Task Preparation, Resource-Aware Planning, Modular Decomposition, Reflective Memory)를 사용하여 장기 목표의 AI 연구를 저장소 수준의 문제로 전환한다.
• 24시간 시계 예산 하에서 MLE-Bench에서 평가하고 Above Median, Bronze, Silver, Gold, 및 Any Medal 지표를 보고하며 각 구성 요소를 검증하기 위해 애블레이션을 수행한다.

Figure 1 : The “Aha!” moment of MARS on the challenging iMet-2020-FGVC7 task. The visualization tracks validation performance gains triggered by specific strategic lessons. While existing methods fail to reach medal-level performance, MARS progressively refines its strategy – evolving from a lightwe

실험 결과

연구 질문

• RQ1 예산 인지 계획이 장기 목표의 AI 연구 과제에서 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 복잡한 연구 파이프라인에서 모듈식 분해가 해법의 품질과 유지 보수성을 향상시키는가?
• RQ3 Comparative Reflective Memory가 효과적인 기여도 귀속과 더 빠른 장기 학습을 가능하게 할 수 있는가?
• RQ4 교훈 학습이 가지 간 전이 및 탐색 다이나믹스에 미치는 영향은 무엇인가?
• RQ5 현실적인 제약 하에서 MARS가 MLE-Bench에서 오픈 소스 기준선에 비해 어떤 성능을 보이는가?

주요 결과

• MARS는 비교 가능한 설정에서 MLE-Bench에서 오픈 소스 프레임워크 중 최첨단 성능을 달성한다.
• Compute를 증가시킨 MARS+가 Above Median, Gold Medal, 및 Any Medal 비율에서 가장 높아 선두 기준선을 능가한다.
• 애블레이션 연구는 Modular Decomposition과 Lesson Learning 둘 다 성능을 크게 향상시킨다는 것을 보여준다.
• Budget-Aware MCTS는 효율적 해법 비율이 더 높고 성능이 비슷할 때 더 빠른 후보를 선호하여 발견을 가속화한다.
• 교훈은 높은 활용도와 가지 간 전이를 나타내며, 탐색 경로 전반에 걸친 통찰의 효과적인 일반화를 시사한다.

Figure 2 : Overview of the MARS Framework. MARS reformulates long-horizon coding as a search for an optimal software repository. (1) Task Preparation: The agent grounds the abstract problem (Instruction, Environment, Objective) tuple by exploratory analysis of the given dataset and metadata. (2) The