[論文レビュー] LLM-Based Multi-Agent Systems for Software Engineering: Literature Review, Vision and the Road Ahead

Junda He, Christoph Treude+1 more|arXiv (Cornell University)|Apr 7, 2024

Multi-Agent Systems and Negotiation被引用数 8

ひとこと要約

本ビジョン論文は、専門エージェント間の協力を活用して LLM ベースのマルチエージェント (LMA) システム がソフトウェア工学の課題にどう対処できるかを概説し、現在の展開について論じ、エージェントの能力・ prompting・調整・プライバシーに焦点を当てた研究アジェンダを提案する。

ABSTRACT

Integrating Large Language Models (LLMs) into autonomous agents marks a significant shift in the research landscape by offering cognitive abilities that are competitive with human planning and reasoning. This paper explores the transformative potential of integrating Large Language Models into Multi-Agent (LMA) systems for addressing complex challenges in software engineering (SE). By leveraging the collaborative and specialized abilities of multiple agents, LMA systems enable autonomous problem-solving, improve robustness, and provide scalable solutions for managing the complexity of real-world software projects. In this paper, we conduct a systematic review of recent primary studies to map the current landscape of LMA applications across various stages of the software development lifecycle (SDLC). To illustrate current capabilities and limitations, we perform two case studies to demonstrate the effectiveness of state-of-the-art LMA frameworks. Additionally, we identify critical research gaps and propose a comprehensive research agenda focused on enhancing individual agent capabilities and optimizing agent synergy. Our work outlines a forward-looking vision for developing fully autonomous, scalable, and trustworthy LMA systems, laying the foundation for the evolution of Software Engineering 2.0.

研究の動機と目的

• 堅牢性・自律性・スケーラビリティを向上させるため、ソフトウェア工学への LLM ベースの自律エージェントの統合を推進する。
• LMA システムを、マルチドメインの SE タスクに取り組むオーケストレーション・プラットフォームと LLM パワード・エージェントとして定義する。
• ソフトウェア開発、フレームワーク、エージェントの協調における現在の展開を特定する。
• 課題を強調し、将来の研究を導く問いを含む研究アジェンダを提案する。

提案手法

• LLM ベースのエージェントを ⟨L,O,M,A,R⟩ のタプルとして定義し、知覚・記憶・行動・再考の明確な役割を持たせる。
• オーケストレーション・プラットフォームとエージェント間の通信パラダイム（協調、ディベート、競合）および構造（分散型、集中型、階層型、ネスト型）を説明する。
• 現在の SE アプリケーションとフレームワークを調査（例：ロールプレイ、ChatDev、MetaGPT、AutoGen、LangChain、OpenAgents）し、実践的な実装を示す。
• 2 期の研究アジェンダを提案する：Phase 1 は役割設計と prompting 戦略を通じて個々のエージェント能力を強化する；Phase 2 はエージェント相乗効果、人間を巻き込んだ協調、スケーリング、プライバシー、ガバナンスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 LLM ベースのエージェントに適した SE の役割は何か、これらの役割に対して能力をどのように強化できるか？
• RQ2 prompting 言語とエージェント指向プログラミングは SE における LLM ベースのエージェント能力をどのように改善できるか？
• RQ3 生産性と品質を最大化するために、人間と LLM ベースのエージェントのタスクをどのように割り当てるべきか？
• RQ4 大規模で複雑なソフトウェア・プロジェクトを処理できるように LMA システムをどのようにスケーリングできるか？
• RQ5 組織間でデータのプライバシーと安全な協調を確保するために、どのようなメカニズムが必要か？

主な発見

• LMA システムは、エージェント間の相互検討とディベートを通じて堅牢性を提供できる。
• LLMs は自律的な問題解決とタスク分解を、アジャイル系のワークフローに沿った自律的な問題解決とタスク分解を可能にする。
• 現在の SE アプリケーションは小規模プロジェクトで迅速な開発サイクルと費用対効果の高い成果を示している。
• エージェントの能力と協調を進化させるため、プライバシーと動的適応を含む段階的な研究アジェンダを提案する。