[論文レビュー] AutoFlow: Automated Workflow Generation for Large Language Model Agents

Zelong Li, Shuyuan Xu+7 more|arXiv (Cornell University)|Jul 1, 2024

Business Process Modeling and Analysis被引用数 4

ひとこと要約

AutoFlow は強化学習を用いて、LLM ベースのエージェントのための自然言語ワークフローを自動生成するフレームワークであり、効果的で信頼性の高いタスク実行を可能にする。オープンソース LLM を使用する際、CoRE などのベースラインと比較して 40% 以上の性能向上を達成しており、複雑なタスク解決における優れた効率性と可読性を示している。

ABSTRACT

Recent advancements in Large Language Models (LLMs) have shown significant progress in understanding complex natural language. One important application of LLM is LLM-based AI Agent, which leverages the ability of LLM as well as external tools for complex-task solving. To make sure LLM Agents follow an effective and reliable procedure to solve the given task, manually designed workflows are usually used to guide the working mechanism of agents. However, manually designing the workflows requires considerable efforts and domain knowledge, making it difficult to develop and deploy agents on massive scales. To address these issues, we propose AutoFlow, a framework designed to automatically generate workflows for agents to solve complex tasks. AutoFlow takes natural language program as the format of agent workflow and employs a workflow optimization procedure to iteratively optimize the workflow quality. Besides, this work offers two workflow generation methods: fine-tuning-based and in-context-based methods, making the AutoFlow framework applicable to both open-source and closed-source LLMs. Experimental results show that our framework can produce robust and reliable agent workflows. We believe that the automatic generation and interpretation of workflows in natural language represent a promising paradigm for solving complex tasks, particularly with the rapid development of LLMs. The source code of this work is available at https://github.com/agiresearch/AutoFlow.

研究の動機と目的

• LLM ベースのエージェントのための信頼性のあるワークフローを手動で設計するための人的努力とドメイン専門知識の高さに対処する。
• 手動での設計なしにワークフロー作成を自動化することで、LLM エージェントのスケーラブルな展開を可能にする。
• ファインチューニングとイン・コンテキスト学習の二重生成手法を用いて、オープンソースおよびクローズドソース LLM の両方をサポートする。
• パフォーマンス報酬（例：CLIP、BERT、ViT スコア）を用いた反復的強化学習最適化により、ワークフローの質を向上させる。
• 手動で設計されたものと比較して、タスク解決のパフォーマンスを向上させつつも、生成されたワークフローの可読性を維持する。

提案手法

• 解釈可能性と人間による理解のしやすさを高めるために、エージェントのワークフローを自然言語プログラムとして表現する。
• 2 モデル構成を採用：ワークフローを生成するジェネレータ LLM と、実行・評価を行うための凍結済みインタプリタ LLM。
• パフォーマンス指標（例：CLIP、BERT、ViT スコア）を報酬として用い、強化学習（REINFORCE）を用いて 30 イテレーションにわたりジェネレータ LLM をファインチューニングする。
• オープンソース LLM（例：Mixtral）の効率的なファインチューニングのため、ランク 8 の低ランク適応（LoRA）を適用する。
• パrameter の更新なしでパラメータ更新なしでクローズドソース LLM（例：GPT-4）に対応するイン・コンテキスト学習をサポートし、広範な互換性を実現する。
• インタプリタの実行と評価からのフィードバックに基づき、ジェネレータを反復的に最適化することで、ワークフローを改善する。

実験結果

リサーチクエスチョン

• RQ1 LLM が自然言語ワークフローを自動生成することで、LLM エージェントにおける手動設計ワークフローの置き換えが可能か？
• RQ2 強化学習は、複雑なタスク実行のための LLM 生成ワークフローを最適化するためにどの程度有効か？
• RQ3 AutoFlow フレームワークは、人手で設計されたものや既存のベースラインワークフローを上回るパフォーマンスを達成できるか？
• RQ4 異なる LLM（例：Mixtral をジェネレータ、GPT-4 をインタプリタとして使用）を組み合わせることで、相乗効果的なパフォーマンス向上が得られるか？
• RQ5 生成されたワークフローは、タスクパフォーマンスの向上を図りながら、人間にとってどの程度解釈可能で読みやすいままであるか？

主な発見

• Mixtral をインタプリタ LLM として使用する際、AutoFlow は最良のベースラインである CoRE よりも平均パフォーマンスで 40% 以上優れている。
• GPT-4 をインタプリタとして使用した場合、AutoFlow は CoRE よりも 5% の改善を達成しており、一貫した優位性を示している。
• OpenAGI ベンチマークで最高の平均スコアを記録したのは、GPT-4 をジェネレータ、Mixtral をインタプリタとして使用した AutoFlow であった。
• AutoFlow が生成したワークフローは、両方の表においてすべてのタスクタイプで最高スコアを達成しており、多様なタスクにわたる強靭性を示している。
• フレームワークは、生成されたワークフローの高い可読性を維持するとともに、人的な設計作業の大幅な削減を実現している。
• 異なる LLM（例：ジェネレータに Mixtral、インタプリタに GPT-4）を組み合わせることで、パフォーマンスの向上が得られ、相補的な強みが発揮されている。