[論文レビュー] A Multi-AI Agent System for Autonomous Optimization of Agentic AI Solutions via Iterative Refinement and LLM-Driven Feedback Loops

Kamer Ali Yüksel, Hassan Sawaf|arXiv (Cornell University)|Dec 22, 2024

Advanced Control Systems Optimization被引用数 5

ひとこと要約

本論文は、反復的なLLM駆動のフィードバックループを用いてエージェントAIシステムを洗練・最適化する自律的フレームワークを提示します。洗練、実行、評価、修正、文書化の専門エージェントを備え、さまざまなケーススタディで実証されています。

ABSTRACT

Agentic AI systems use specialized agents to handle tasks within complex workflows, enabling automation and efficiency. However, optimizing these systems often requires labor-intensive, manual adjustments to refine roles, tasks, and interactions. This paper introduces a framework for autonomously optimizing Agentic AI solutions across industries, such as NLP-driven enterprise applications. The system employs agents for Refinement, Execution, Evaluation, Modification, and Documentation, leveraging iterative feedback loops powered by an LLM (Llama 3.2-3B). The framework achieves optimal performance without human input by autonomously generating and testing hypotheses to improve system configurations. This approach enhances scalability and adaptability, offering a robust solution for real-world applications in dynamic environments. Case studies across diverse domains illustrate the transformative impact of this framework, showcasing significant improvements in output quality, relevance, and actionability. All data for these case studies, including original and evolved agent codes, along with their outputs, are here: https://anonymous.4open.science/r/evolver-1D11/

研究の動機と目的

• 複雑なAgentic AIシステムの手動チューニングという課題に対処する。
• LLM駆動のフィードバックループによって支えられた自律的で拡張性のある洗練フレームワークを提案する。
• 多様な産業のケーススタディを通じてドメイン横断的な適用性を示す。

提案手法

• Refinement、Execution、Evaluation、Modification、Documentationという専門エージェントを用いた自律的な洗練アーキテクチャを定義する。
• 仮説を生成・修正・実行・評価し、改善があれば保存する反復ループを用いる。
• Qualitative and quantitative outputsを評価するためにLlama 3.2-3Bモデルを採用する。
• Synthesis FrameworkとEvaluation Frameworkを活用して仮説生成と評価を導く。
• 反復を通じて最高性能のバリアントを保持するMemory Moduleを維持する。

実験結果

リサーチクエスチョン

• RQ1 自動のLLM駆動フィードバックループは人間の介入なしに継続的にエージェント構成を改善できるか？
• RQ2 異なる領域での反復的洗練から得られる定量的・定性的な利得は何か？
• RQ3 出力の整合性・関連性・実行可能性を改善するうえで、専門エージェントの役割はどれほど効果的か？
• RQ4 動的環境における完全自律的洗練のリスクと制約は何か？

主な発見

• 進化的最適化により手動介入なしでエージェント構成が改善される。
• 自律的洗練はケーススタディを通じて一貫して整合性・関連性・正確性・明確さ・実行可能性を向上させる。
• 進化したシステムの中央値評価スコアは主要基準で0.9に接近するか、それを超える。
• 専門エージェントと構造化されたワークフローにより出力のばらつきが減少。
• ケーススタディは市場調査、医療AIアーキテクチャ、キャリア転換、アウトリーチ、コンテンツ作成などを網羅し、広い適用性を示している。