[論文レビュー] MAGE: Meta-Reinforcement Learning for Language Agents toward Strategic Exploration and Exploitation

Lu Yang, Zelai Xu+5 more|arXiv (Cornell University)|Mar 4, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

この論文は、言語エージェントが戦略的探索と活用をバランスさせることを可能にするメタ強化学習フレームワークである MAGE を紹介します。

ABSTRACT

Large Language Model (LLM) agents have demonstrated remarkable proficiency in learned tasks, yet they often struggle to adapt to non-stationary environments with feedback. While In-Context Learning and external memory offer some flexibility, they fail to internalize the adaptive ability required for long-term improvement. Meta-Reinforcement Learning (meta-RL) provides an alternative by embedding the learning process directly within the model. However, existing meta-RL approaches for LLMs focus primarily on exploration in single-agent settings, neglecting the strategic exploitation necessary for multi-agent environments. We propose MAGE, a meta-RL framework that empowers LLM agents for strategic exploration and exploitation. MAGE utilizes a multi-episode training regime where interaction histories and reflections are integrated into the context window. By using the final episode reward as the objective, MAGE incentivizes the agent to refine its strategy based on past experiences. We further combine population-based training with an agent-specific advantage normalization technique to enrich agent diversity and ensure stable learning. Experiment results show that MAGE outperforms existing baselines in both exploration and exploitation tasks. Furthermore, MAGE exhibits strong generalization to unseen opponents, suggesting it has internalized the ability for strategic exploration and exploitation. Code is available at https://github.com/Lu-Yang666/MAGE.

研究の動機と目的

• 言語エージェントにおける探索-活用のトレードオフの改善の必要性を動機づける。
• 言語タスクにおいて戦略的探索と活用を可能にするメタ強化学習フレームワークを提案する。
• MAGE の有効性を検証するための方法論と実験を確立する。
• 適応的探索戦略を備えた言語エージェントの設計に関する洞察を提供する。

提案手法

• 言語エージェント向けに適合させたメタ強化学習フレームワークを提示する。
• 戦略的探索と活用を促進する MAGE の構成要素を定義する。
• メタRL設定におけるコア訓練目的と意思決定プロセスを概説する。
• 言語タスクのパフォーマンスを評価するために使用される評価パラダイムを記述する。

実験結果

リサーチクエスチョン

• RQ1 メタRLを用いて言語エージェントの探索と活用のバランスをとるための有効な戦略は何か。
• RQ2 戦略的探索を可能にする際の基準法と比較して MAGE はどの程度の性能を発揮するか。
• RQ3 言語ベースのタスクにおける探索-活用のメタ学習の実務上の利点は何か。
• RQ4 言語環境における MAGE の改善を最もよく示す評価プロトコルは何か。

主な発見

• 提供された抜粋には記載されていません。
• 抜粋には数値結果が含まれていません。
• 抜粋から特定の実験や定量的改善を引用できません。
• 完全な本文から具体的な発見を列挙するにはさらなる詳細が必要です。