[論文レビュー] FireAct: Toward Language Agent Fine-tuning

Baian Chen, Chang Shu+4 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 6

ひとこと要約

FireActは、複数のタスクおよびプロンプティング手法から得た多様なエージェント軌道を活用することで、言語モデル（LM）のファインチューニングフレームワークを提案し、言語エージェントとしての性能を向上させることを目的としている。GPT-4が生成した500GのReAct軌道を用いてLLaMA2-7Bをファインチューニングした結果、正確一致（exact match）性能が77%向上した。これは、ファインチューニングがFew-shotプロンプティングに比べて、推論の質、耐障害性、効率性を著しく向上させることを示している。

ABSTRACT

Recent efforts have augmented language models (LMs) with external tools or environments, leading to the development of language agents that can reason and act. However, most of these agents rely on few-shot prompting techniques with off-the-shelf LMs. In this paper, we investigate and argue for the overlooked direction of fine-tuning LMs to obtain language agents. Using a setup of question answering (QA) with a Google search API, we explore a variety of base LMs, prompting methods, fine-tuning data, and QA tasks, and find language agents are consistently improved after fine-tuning their backbone LMs. For example, fine-tuning Llama2-7B with 500 agent trajectories generated by GPT-4 leads to a 77% HotpotQA performance increase. Furthermore, we propose FireAct, a novel approach to fine-tuning LMs with trajectories from multiple tasks and prompting methods, and show having more diverse fine-tuning data can further improve agents. Along with other findings regarding scaling effects, robustness, generalization, efficiency and cost, our work establishes comprehensive benefits of fine-tuning LMs for agents, and provides an initial set of experimental designs, insights, as well as open questions toward language agent fine-tuning.

研究の動機と目的

• ファインチューニングの潜在的効果を、Few-shotプロンプティングにとどまらず、エージェント的推論の文脈で再評価すること。
• 複数のタスクおよびプロンプティング手法をカバーする多様なファインチューニングデータが、エージェントのパフォーマンスと耐障害性に与える影響を評価すること。
• ファインチューニングを施した小規模な言語モデルが、Few-shotプロンプティングを用いた大規模モデル（例：GPT-3.5）を上回ることを実証的に示すこと。
• 言語エージェントのファインチューニングにおけるスケーリング効果、一般化性能、コスト効率性を調査すること。
• 今後の研究を促進するため、コード、データ、モデルを公開すること。

提案手法

• FireActは、GPT-4を用いて、Google検索APIを介してオープンドメインQAタスクを解く際のエージェント軌道を収集し、ReActプロンプティング形式（Thought, Action, Observation）を採用する。
• 収集した軌道を統一されたフォーマットに変換し、LLaMA2-7BやGPT-3.5を含むベース言語モデルを、複数のタスクおよびプロンプティング戦略でファインチューニングに用いる。
• ファインチューニングは言語モデルのバックボーン全体にエンドツーエンドで適用され、プロンプトを介さずに直接推論トレースと行動を生成できるようにする。
• 複数タスクおよび複数プロンプティング戦略のデータミックスをサポートすることで、一般化性能と耐障害性を向上させる。
• 実験では、さまざまなベースモデル、プロンプティング手法、データスケールを用いて、Few-shotプロンプティングとファインチューニング推論を比較する。
• 評価には、HotpotQAにおける正確一致（EM）や、ツール出力のノイズ下での耐障害性といった標準指標を用いる。

Figure 1: While language agents and language model fine-tuning are both popular topics, their intersection is understudied. This work takes an initial step to show multiple advantages of fine-tuning LMs for agentic uses, and opens up various new questions toward language agent fine-tuning.

実験結果

リサーチクエスチョン

• RQ1 エージェント軌道を用いたファインチューニングは、エージェント的QAタスクにおいて、Few-shotプロンプティングに比べて一貫した性能向上をもたらすか？
• RQ2 タスクおよびプロンプティング手法の多様性を持つファインチューニングデータが、エージェントの一般化性能と耐障害性に与える影響は何か？
• RQ3 ファインチューニングを施した小規模なオープンソース言語モデル（例：LLaMA2-7B）は、Few-shotプロンプティングを用いた大規模モデル（例：GPT-3.5）を上回る性能を示せるか？
• RQ4 ファインチューニングデータのスケールおよびモデルサイズが、エージェントのパフォーマンスと推論効率性に与える影響は何か？
• RQ5 複数タスクファインチューニングは、多様な応用に適した汎用的なエージェントバックボーンを構築できるか？

主な発見

• GPT-4が生成した500個のReAct軌道を用いてLLaMA2-7Bをファインチューニングした結果、HotpotQAの正確一致（EM）がFew-shotプロンプティングに比べ77%向上した。
• GPT-3.5を500個のReAct軌道でファインチューニングした結果、HotpotQAのEMは31.4から39.2に上昇し、相対的に25%の改善を達成した。
• ReActとChain-of-Thoughtの両方の軌道をミックスして使用した場合、EMは41.0に上昇し、Few-shotプロンプティングに比べ31%の相対的改善を示した。
• ファインチューニング済みモデルは推論時間を4倍短縮し、ノイズのあるツール出力下でも64%高いパフォーマンスを示した。
• 小規模なオープンソース言語モデル（例：LLaMA2-7B）は、ファインチューニングによって相対的に大きな向上を示しており、コスト効率の高いエージェントデプロイメントの可能性を示唆している。
• ファインチューニング中に多様なタスクを組み込むことで、下流タスクのパフォーマンスが低下することなく、より広範な一般化が可能になる可能性がある。これは、大規模なマルチタスクファインチューニングの前触れである。

Figure 2: Illustration of FireAct . (a) During fine-tuning , a large LM (e.g., GPT-4) generates task-solving trajectories based on questions from different datasets and prompts from different methods. The successful trajectories are then converted into the ReAct format to fine-tune a smaller LM. (b)