[論文レビュー] Agents in Software Engineering: Survey, Landscape, and Vision

Yanlin Wang, Wanjun Zhong+8 more|arXiv (Cornell University)|Sep 13, 2024

Multi-Agent Systems and Negotiation被引用数 4

ひとこと要約

本論文は、ソフトウェア工学分野におけるLLMベースのエージェントに関する、初めての包括的サーベイを提示し、エージェント設計を体系化するための三モジュールフレームワーク（認識、記憶、行動）を導入する。マルチモーダル認識のギャップ、幻覚、非効率なマルチエージェント協調、ドメイン特化型の知識ベースの欠如といった主な課題を特定するとともに、LLMエージェントとSEを相互に発展させるための今後の研究機会を提案する。

ABSTRACT

In recent years, Large Language Models (LLMs) have achieved remarkable success and have been widely used in various downstream tasks, especially in the tasks of the software engineering (SE) field. We find that many studies combining LLMs with SE have employed the concept of agents either explicitly or implicitly. However, there is a lack of an in-depth survey to sort out the development context of existing works, analyze how existing works combine the LLM-based agent technologies to optimize various tasks, and clarify the framework of LLM-based agents in SE. In this paper, we conduct the first survey of the studies on combining LLM-based agents with SE and present a framework of LLM-based agents in SE which includes three key modules: perception, memory, and action. We also summarize the current challenges in combining the two fields and propose future opportunities in response to existing challenges. We maintain a GitHub repository of the related papers at: https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE.

研究の動機と目的

• LLMベースのエージェントに関する既存の研究を体系的かつ分類的にサーベイすること。
• 認識、記憶、行動モジュールを含む、ソフトウェア工学におけるLLMベースのエージェントの統一的コンセプトフレームワークを確立すること。
• LLMベースのエージェントとSEタスクの統合を阻害する主な課題を特定すること、特に幻覚、コード特化型の知識ベースの欠如、非効率なマルチエージェント協調の問題を含む。
• SE技術を活用してエージェントの能力を向上させるとともに、逆にエージェント研究を進めるための今後の研究方向性を提案すること。
• 研究コミュニティのための公開GitHubリポジトリをキュレート・維持すること。

提案手法

• 系統的なデータ収集と品質評価を通じて、LLMベースのエージェントに関する115件の論文を収集・フィルタリングした。
• ソフトウェア工学におけるLLMベースのエージェントのための三モジュールフレームワークを提案した：認識（マルチモーダル入力の処理）、記憶（意味的、エピソード的、手続き的）、行動（内部的および外部的行動）。
• 提案されたフレームワークの視点から既存の研究を分析し、エージェント設計および応用におけるギャップとトレンドを同定した。
• 認識の限界（テキストを超えるモダリティの不足）、複雑なSEタスクにおける推論の困難さ、外部知識ベースの欠如といった課題を特定した。
• SEとエージェント研究の間で双方向的な連携の可能性を検討した。具体的には、テストやバージョン管理などのSE技術（例：テスト、バージョン管理）を活用してエージェントの信頼性とパフォーマンスを向上させる方法を検討した。
• 特定された課題に基づき、今後の研究方向性を提案した。具体的には、コード特化型の知識ベースの開発や、マルチエージェント間通信の最適化を含む。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは現在、ソフトウェア工学タスクでどのように応用されており、その設計における支配的なパターンは何か？
• RQ2 ソフトウェア工学におけるLLMベースのエージェントのコアな構成要素は何か？また、それらは認識－記憶－行動フレームワークとどのように整合しているか？
• RQ3 LLMベースのエージェントをSEワークフローに効果的に統合するのを妨げる主な課題は何か？
• RQ4 SE特化型の技術は、LLMベースのエージェントの頑健性、効率性、信頼性をどのように向上させられるか？
• RQ5 LLMエージェント分野とソフトウェア工学分野の間で、相互発展の機会は何か？

主な発見

• SE向けLLMベースのエージェントにおける認識モジュールは、主にテキスト入力に限定されており、視覚的・聴覚的入力などの他のモダリティへの探求はほとんどない。
• 現在のエージェントにおける記憶モジュールには意味的記憶、エピソード的記憶、手続き的記憶が含まれるが、システム間での標準化された実装および統合は欠如している。
• 行動モジュールには内部的推論と外部的相互作用が含まれるが、外部的行動はしばしば基本的な関数呼び出しやHTTP通信に依存しており、高度なツール統合が不足している。
• エージェントが外部リトライーブソースとして利用できる、権威的でコード特化型の知識ベースの不足が顕著なギャップである。
• LLMベースのエージェントにおける幻覚（例：存在しないAPIを創出する）は、信頼性を損なう深刻な問題であり、LLMレベルおよびエージェントレベルの最適化によって緩和可能である。
• SEタスクにおけるマルチエージェント協調は、高い計算コストと通信オーバーヘッドを伴い、より効率的な調整およびリソース管理技術の開発が急務である。