[論文レビュー] AGILE: A Novel Reinforcement Learning Framework of LLM Agents

Peiyuan Feng, Yichen He+5 more|arXiv (Cornell University)|May 23, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

AGILE は、記憶、ツール、専門家の助言、および自己認識を統合した包括的で一貫したシステムとして、強化学習フレームワークの新規なアプローチであり、PPO を用いてエンド・ツー・エンドのパフォーマンスを最適化する。ProductQA および MedMCQA で最先端の結果を達成し、GPT-4 や GPT-3.5 を上回っている。アブレーションスタディにより、すべてのコンponents が極めて重要であることが確認された。

ABSTRACT

We introduce a novel reinforcement learning framework of LLM agents named AGILE (AGent that Interacts and Learns from Environments) designed to perform complex conversational tasks with users, leveraging LLMs, memory, tools, and interactions with experts. The agent possesses capabilities beyond conversation, including reflection, tool usage, and expert consultation. We formulate the construction of such an LLM agent as a reinforcement learning (RL) problem, in which the LLM serves as the policy model. We fine-tune the LLM using labeled data of actions and the PPO algorithm. We focus on question answering and release a dataset for agents called ProductQA, comprising challenging questions in online shopping. Our extensive experiments on ProductQA, MedMCQA and HotPotQA show that AGILE agents based on 7B and 13B LLMs trained with PPO can outperform GPT-4 agents. Our ablation study highlights the indispensability of memory, tools, consultation, reflection, and reinforcement learning in achieving the agent's strong performance. Datasets and code are available at https://github.com/bytarnish/AGILE.

研究の動機と目的

• 記憶、ツール使用、自己認識、専門家の助言、計画、推論といった複数の LLM エージェント機能を、一括でトレーニング可能な統合フレームワークに統合すること。
• 複雑な質疑応答タスクにおいて、複数のエージェントコンponents の統合を包括的に評価するベンチマークの不足に対処すること。
• エージェントのパフォーマンスを多様で現実的ないくつかのシナリオで評価できるよう、26 のカテゴリにまたがる 88,229 件の実際の商品クエリを含む新規ベンチマーク、ProductQA を開発すること。
• 強化学習、特に PPO のファインチューニングが、単なる教師ありファインチューニングに比べてエージェントパフォーマンスを顕著に向上させることを示すこと。
• 複雑で分布外のタスクにおいて、精度と適応性を向上させるために、専門家による助言がどのように必要かつ効果的であるかを検証すること。

提案手法

• AGILE フレームワークは、エージェントを LLM（ポリシー・モデル）、記憶、ツール、エグゼキューターの4つのコアモジュールで構成する。エグゼキューターがアクションの調整とコンテキストの更新を担当する。
• LLM が生成するアクション（トークン）はエグゼキューターによって解釈され実行され、エグゼキューターは記憶の検索、ツールの起動、専門家の助言の処理を管理する。
• 専門家による助言は、能動的なメカニズムとしてモデル化されており、エージェントが不確実性を感じた際に人間のフィードバックを求め、フィードバックを反映して将来の使用に備えて保存する。
• エージェントは二段階のプロセスでトレーニングされる：まず、ラベル付きアクション列に対する教師ありファインチューニング（SFT）を実施し、次に、タスク報酬を最大化するための Proximal Policy Optimization（PPO）を用いたポリシー最適化を実施する。
• このフレームワークにより、推論、計画、自己認識、助言の能力が、1つの RL 目的関数内でエンド・ツー・エンドでトレーニング可能になる。
• 実際の Amazon の顧客クエリを用いて、事実中心、推論、推薦に関する質問を含む、新規のベンチマーク、ProductQA が構築された。トレーニングセットとテストセットは非重複であり、ゼロショット一般化の評価が可能である。

実験結果

リサーチクエスチョン

• RQ1 統合された LLM エージェントフレームワークは、記憶、ツール使用、自己認識、専門家による助言を、一括でトレーニング可能な統合システムとして効果的に統合できるか？
• RQ2 PPO を用いた強化学習は、単なる教師ありファインチューニングに比べて、複雑な質疑応答タスクにおいてエージェントパフォーマンスを顕著に向上させるか？
• RQ3 記憶、ツール、専門家による助言、自己認識といった個々のコンponents が、全体のエージェントパフォーマンスにとってどれほど重要か？
• RQ4 提案されたエージェントフレームワークは、新しい商品カテゴリに一般化可能であり、GPT-4 などの強力なベースラインをゼロショット設定で上回るか？
• RQ5 専門家による助言は、複雑で曖昧、または分布外のクエリを処理する際、精度と適応性をどの程度向上させるか？

主な発見

• PPO でファインチューニングされた AGILE エージェント（agile-vic13b-ppo）は、ProductQA ベンチマークで GPT-4 よりも 9.2% の相対的向上を達成した。
• 同じエージェントは、GPT-3.5 よりも相対的な総合スコアで 90.8% の向上を示し、PPO のトレーニング方式の有効性を裏付けた。
• アブレーションスタディでは、記憶を削除すると専門家による助言の要求が 17.4% 増加し、ツールを削除すると 25.9% 増加した。これは、これらのコンponents が人間の入力への依存を減らす役割を果たしていることを示している。
• 専門家による助言機能を無効化した場合、精度が 10.7% 減少した。これは、複雑なクエリを処理するうえで、専門家による助言が極めて重要であることを確認している。
• MedMCQA では、agile-mek7b-ppo エージェントが 85.2% の精度を達成し、GPT-4-MedPrompt の SOTA である 79.1% を上回り、ベースラインの Meerkat-7b の 53.4% よりも顕著に優れていた。
• PPO ファインチューニング段階は、SFT ベースラインに比べてパフォーマンスを 2.3% の相対的向上率で向上させた。これは、ポリシー最適化における強化学習の価値を確認している。