[논문 리뷰] MAGE: Meta-Reinforcement Learning for Language Agents toward Strategic Exploration and Exploitation

Lu Yang, Zelai Xu외 5명|arXiv (Cornell University)|2026. 03. 04.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

본 논문은 MAGE를 소개합니다. 이는 언어 에이전트가 전략적 탐색과 활용의 균형을 가능하게 하도록 설계된 메타-강화학습 프레임워크입니다.

ABSTRACT

Large Language Model (LLM) agents have demonstrated remarkable proficiency in learned tasks, yet they often struggle to adapt to non-stationary environments with feedback. While In-Context Learning and external memory offer some flexibility, they fail to internalize the adaptive ability required for long-term improvement. Meta-Reinforcement Learning (meta-RL) provides an alternative by embedding the learning process directly within the model. However, existing meta-RL approaches for LLMs focus primarily on exploration in single-agent settings, neglecting the strategic exploitation necessary for multi-agent environments. We propose MAGE, a meta-RL framework that empowers LLM agents for strategic exploration and exploitation. MAGE utilizes a multi-episode training regime where interaction histories and reflections are integrated into the context window. By using the final episode reward as the objective, MAGE incentivizes the agent to refine its strategy based on past experiences. We further combine population-based training with an agent-specific advantage normalization technique to enrich agent diversity and ensure stable learning. Experiment results show that MAGE outperforms existing baselines in both exploration and exploitation tasks. Furthermore, MAGE exhibits strong generalization to unseen opponents, suggesting it has internalized the ability for strategic exploration and exploitation. Code is available at https://github.com/Lu-Yang666/MAGE.

연구 동기 및 목표

• 언어 에이전트에서 개선된 탐색-활용 균형의 필요성에 대한 동기를 제시합니다.
• 언어 태스크에서 전략적 탐색과 활용을 가능하게 하는 메타-강화학습 프레임워크를 제안합니다.
• MAGE의 효과성을 검증하기 위한 방법론과 실험을 확립합니다.
• 적응 탐색 전략을 갖춘 언어 에이전트 설계에 대한 인사이트를 제공합니다.

제안 방법

• 언어 에이전트를 위해 맞춤화된 메타-강화학습 프레임워크를 제시합니다.
• 전략적 탐색과 활용을 촉진하는 MAGE의 구성요소를 정의합니다.
• 메타-RL 설정에서 핵심 학습 목표와 의사결정 과정을 개요합니다.
• 언어 태스크에서 성능을 평가하기 위해 사용된 평가 패러다임을 설명합니다.

실험 결과

연구 질문

• RQ1 메타-RL을 사용하여 언어 에이전트의 탐색-활용 균형을 달성하는 효과적인 전략은 무엇인가?
• RQ2 전략적 탐색을 가능하게 하는 데 있어 MAGE가 baseline 방식에 비해 어떤 성과를 내는가?
• RQ3 언어 기반 태스크에서 탐색-활용에 대한 메타러닝의 경험적 이점은 무엇인가?
• RQ4 언어 환경에서 MAGE의 개선 효과를 가장 잘 드러내는 평가 프로토콜은 무엇인가?

주요 결과

• 제공된 발췌본에서 이용 가능하지 않음.
• 발췌본에 수치 결과가 포함되어 있지 않음.
• 발췌본에서 특정 실험이나 정량적 개선 사항을 인용할 수 없음.
• 구체적인 발견을 열거하려면 전체 텍스트의 추가 세부 정보가 필요합니다.