[論文レビュー] Self-Organized Agents: A LLM Multi-Agent Framework toward Ultra Large-Scale Code Generation and Optimization

Yoïchi Ishibashi, Yoshimasa Nishimura|arXiv (Cornell University)|Apr 2, 2024

Modular Robots and Swarm Intelligence被引用数 4

ひとこと要約

本論文は、問題の複雑さに応じて自律的に増殖することができる自己組織的エージェント（SoA）を提案する。これは、文脈長制限によるスケーラビリティの限界を克服し、固定で小さなコード断片を管理するエージェントが協働して自己組織化することで、スケーラブルかつ動的なコード生成と最適化を可能にする、新しいLLMマルチエージェントフレームワークである。このフレームワークにより、超大規模なコードベースにまでスケーリング可能であり、HumanEvalベンチマークにおいて最先端の単一エージェントベースラインを5%上回るPass@1精度を達成した。

ABSTRACT

Recent advancements in automatic code generation using large language model (LLM) agent have brought us closer to the future of automated software development. However, existing single-agent approaches face limitations in generating and improving large-scale, complex codebases due to constraints in context length. To tackle this challenge, we propose Self-Organized multi-Agent framework (SoA), a novel multi-agent framework that enables the scalable and efficient generation and optimization of large-scale code. In SoA, self-organized agents operate independently to generate and modify code components while seamlessly collaborating to construct the overall codebase. A key feature of our framework is the automatic multiplication of agents based on problem complexity, allowing for dynamic scalability. This enables the overall code volume to be increased indefinitely according to the number of agents, while the amount of code managed by each agent remains constant. We evaluate SoA on the HumanEval benchmark and demonstrate that, compared to a single-agent system, each agent in SoA handles significantly less code, yet the overall generated code is substantially greater. Moreover, SoA surpasses the powerful single-agent baseline by 5% in terms of Pass@1 accuracy.

研究の動機と目的

• 文脈長制限により、単一エージェントLLMが大規模で複雑なコードベースの生成と最適化においてスケーラビリティに限界を示す問題を克服すること。
• 問題の複雑さに応じてエージェントが自律的に増殖することで、動的かつ自己組織的なコード生成を可能にすること。
• エージェントごとのコード管理量を一定に保ちながら、全体のコードベースの無限大への拡張を可能にすること。
• 分散型で協働的なエージェントアーキテクチャを通じて、コード生成の質と効率を向上させること。
• 既存のマクロレベルのマルチエージェントソフトウェア開発手法と補完的となる、柔軟でミクロレベルのコード生成フレームワークを提供すること。

提案手法

• エージェントは、事前に定義された役割ではなく、機能的分解に基づいて特定のコードコンポonentを生成・修正することに割り当てられる。
• フレームワークは自己組織化を採用しており、中央集権的制御なしにエージェントが協調・協働することで、完全なコードベースを構築する。
• 問題の複雑さに応じて自動的にエージェントの増殖がトリガーされ、各エージェントが一定で管理可能なコード量を処理する。
• エージェントをノードとするツリー構造により、スケーラブルで並列的なコード生成と修正が可能になる。
• 推論をガイドし、生成効率を向上させるために、Tree-of-Thought（ToT）やSkeleton of Thought（SoT）といったプロンプト工学技術が使用される。
• エージェントは軽量な調整メカニズムを通じて通信・同期を行い、コードベース全体で一貫性と正しさを維持する。

Figure 1: Left (single agent): A single agent is solely responsible for the entire implementation. As the codebase grows larger, the load increases for code generation, modification, and memory management, making it difficult to manage and develop. The larger the entire codebase becomes, the more it

実験結果

リサーチクエスチョン

• RQ1 自己組織的マルチエージェントフレームワークは、個々のエージェントの作業負荷を一定に保ちながら、コード生成能力を動的にスケーリングできるか？
• RQ2 問題の複雑さに応じたエージェントの増殖は、全体のコード量と生成品質にどのように影響するか？
• RQ3 SoAフレームワークは、コード生成の正確性とスケーラビリティにおいて、単一エージェントベースラインをどの程度上回るか？
• RQ4 固定された役割が存在しないことで、複雑なコード生成タスクにおける柔軟性とパフォーマンスがどのように向上するか？
• RQ5 分散型で協働的なエージェント行動は、コード品質とシステムのレジリエンスにどのような影響を及ぼすか？

主な発見

• SoAは、HumanEvalベンチマークにおいて、Reflexion単一エージェントベースラインを5%上回るPass@1精度を達成した。
• SoAの各エージェントは、単一エージェントシステムと比較してはるかに少ないコード量を管理していたが、合計生成コード量は著しく大きかった。
• フレームワークは、エージェントの自動増殖により動的スケーラビリティを示し、コードベースの無限大への拡張を可能にした。
• エージェントの自己組織化により、中央集権的監視なしに効率的な協働が可能になり、コードの一貫性と正しさが維持された。
• ミクロレベルの関数ベースのエージェント割り当ては、役割ベースのマルチエージェントフレームワークを上回る柔軟性とコード生成品質を実現した。
• システムのパフォーマンスはLLMの選定とテスト品質に敏感であることが判明し、通信とフェイルセーフの最適化の余地があることが示された。

Figure 2: Overview of code generation. Child agents generate executable Python function from a given docstring. The Mother agent generates the skeleton of the function. The Mother spawns a new initialized agent (Child or Mother) and delegates unimplemented functions.