[論文レビュー] ReST meets ReAct: Self-Improvement for Multi-Step Reasoning LLM Agent

Renat Aksitov, Sobhan Miryoosefi+11 more|arXiv (Cornell University)|Dec 15, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、AIフィードバックとReSTに類似した反復的微調整プロセスを組み合わせることで、自己改善型のReActスタイルLLMエージェントを、多段階推論のために提案する。大規模モデルから得られる合成トラジェクトリを用いることで、わずか2回の訓練イテレーションで小規模モデルへの distillation が可能となり、教師モデルと同等の性能を達成する。パラメータ数は100分の1にまで削減されたが、高い精度を維持する。

ABSTRACT

Answering complex natural language questions often necessitates multi-step reasoning and integrating external information. Several systems have combined knowledge retrieval with a large language model (LLM) to answer such questions. These systems, however, suffer from various failure cases, and we cannot directly train them end-to-end to fix such failures, as interaction with external knowledge is non-differentiable. To address these deficiencies, we define a ReAct-style LLM agent with the ability to reason and act upon external knowledge. We further refine the agent through a ReST-like method that iteratively trains on previous trajectories, employing growing-batch reinforcement learning with AI feedback for continuous self-improvement and self-distillation. Starting from a prompted large model and after just two iterations of the algorithm, we can produce a fine-tuned small model that achieves comparable performance on challenging compositional question-answering benchmarks with two orders of magnitude fewer parameters.

研究の動機と目的

• 高価な人間によるアノテーション付きトラジェクトリに依存せずに、多段階推論用LLMエージェントの性能向上を図ること。
• エンド・トゥ・エンドの微分可能訓練を避けるために、反復的な合成データ生成とAIフィードバックを通じて、エージェントの継続的自己改善を可能にすること。
• 複雑で構成的な質問応答タスクにおいて、高性能な大規模エージェントを小規模モデルに効果的にdistillationすることを示すこと。
• BamboogleおよびBamTwoogleデータセットを用いて、長文で根拠のある回答の自動評価のための代理評価フレームワークを確立すること。
• 自己批判と反復的精錬が、プロセスベースでツールを補完するLLMエージェントの耐性および推論品質を向上させるかどうかを検討すること。

提案手法

• エージェントはReActスタイルのワークフローに従い、複雑な質問に答えるために、思考の連鎖と検索ツールの呼び出し・観測結果を交互に実行する。
• 合成トラジェクトリは自己改善ループによって生成される：『成長』フェーズでは、現在のポリシーが完全な推論トラジェクトリをサンプリングする。『改善』フェーズでは、LLMベースの報酬フィードバックを用いてトラジェクトリをフィルタリングおよびランク付けする。
• AIフィードバックを用いた成長バッチ強化学習を採用し、過去のエージェント行動に由来する、段階的に大きな合成データセット上でポリシーを反復的に微調整する。
• 自己批判ステップをエージェントの推論フローに統合し、回答の関連性と取得したスニペットへの根拠の有無を検証することで、最終出力の品質を向上させる。
• 最終的な微調整モデルは、自己改善プロセス中に生成された合成データ上で訓練され、パラメータ数が2桁少ないにもかかわらず、元の大きなモデルと同等の性能を達成する。
• 評価はBamboogleおよびBamTwoogleデータセットを用いた自動指標に依存し、各質問に対して複数回のエージェント実行を実施することで、確率的要因を考慮し、信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 AIフィードバックと合成データのみを用いて、反復的な自己改善がReActスタイルLLMエージェントに有効に適用可能か？
• RQ2 大規模モデルの推論トレースから生成された合成データは、性能が同等の小規模モデルへのdistillationをどの程度可能にするか？
• RQ3 自己批判は多段階エージェントの推論品質を向上させるか？その効果はモデルサイズにかかわらず一貫しているか？
• RQ4 自己改善のための何回のイテレーションで、意味のある性能向上が得られるか？また、飽和点は存在するか？
• RQ5 ReSTに類似した自己改善フレームワークは、マルチツールまたは未知のツール環境へ拡張可能か？その場合、何らかの変更が必要か？

主な発見

• 自己改善ループをわずか2回のイテレーションで実行した後、微調整された小規模モデルはBamboogleベンチマークにおいて、元の大きなモデルと同等の性能を示した。10回の実行平均で正解率78.5％、標準偏差2.1％を達成した。
• 2桁少ないパラメータ数にもかかわらず、教師モデルと同等の性能を達成した小規模モデルは、合成トラジェクトリからの有効な知識distillationを示している。
• 自己批判ステップはわずかだが肯定的な性能向上をもたらし、その効果は大規模モデルでより顕著であり、自己改善プロセスとは独立して有効である。
• PaLM 2-Lを用いたスコアリングにより、エージェントトラジェクトリの信頼性ある自動評価が可能となり、人間の評価者と良好に一致し、ハイパーパrameter分析の根拠としても有効である。
• ReSTに類似した反復的トレーニングプロセスにより、人間によるアノテーションデータを一切必要とせず、AIフィードバックと合成データ生成に依存するだけで、エージェントの性能が顕著に向上した。
• マルチツール環境へのスケーリングの可能性は示唆されたが、未確認のツールへ一般化できるかどうか、および追加のアーキテクチャ的変更が必要かどうかは、今後の研究課題である。