[논문 리뷰] Large Language Model-Based Agents for Software Engineering: A Survey

Junwei Liu, Kaixin Wang외 5명|arXiv (Cornell University)|2024. 09. 04.

Multi-Agent Systems and Negotiation인용 수 13

한 줄 요약

소프트웨어 엔지니어링에 적용된 LLM 기반 에이전트를 대상으로 한 106편의 논문에 대한 포괄적 고찰로, SE 작업과 에이전트 아키텍처를 분석하고, 도전과제와 향후 방향에 대해 논의한다.

ABSTRACT

The recent advance in Large Language Models (LLMs) has shaped a new paradigm of AI agents, i.e., LLM-based agents. Compared to standalone LLMs, LLM-based agents substantially extend the versatility and expertise of LLMs by enhancing LLMs with the capabilities of perceiving and utilizing external resources and tools. To date, LLM-based agents have been applied and shown remarkable effectiveness in Software Engineering (SE). The synergy between multiple agents and human interaction brings further promise in tackling complex real-world SE problems. In this work, we present a comprehensive and systematic survey on LLM-based agents for SE. We collect 124 papers and categorize them from two perspectives, i.e., the SE and agent perspectives. In addition, we discuss open challenges and future directions in this critical domain. The repository of this survey is at https://github.com/FudanSELab/Agent4SE-Paper-List.

연구 동기 및 목표

• LLM 기반 에이전트가 소프트웨어 엔지니어링 작업 및 생애주기 단계 전반에 어떻게 적용되는지 체계적으로 개관한다.
• 에이전트 구성 요소(계획, 메모리, 인지/지각, 행동)가 SE 작업을 어떻게 가능하게 하는지 분석한다.
• SE 맥락에서 다중 에이전트 시스템과 인간-에이전트 협업을 조사한다.
• LLM 기반 에이전트의 오픈 챌린지와 향후 연구 방향을 강조한다.

제안 방법

• 정의된 포함/배제 기준으로 키워드 검색과 스노우볼링을 사용해 106편의 논문을 수집한다.
• 요구사항 공학에서부터 엔드투엔드 개발 및 유지보수에 이르는 SE 및 에이전트 관점의 논문을 분석한다.
• 계획, 메모리, 인지/지각, 행동을 포함한 에이전트 아키텍처를 합성하고 다중 에이전트 협업 및 인간 상호작용을 논의한다.
• Existing works의 체계적 개요를 제공하고 연구 기회 및 향후 방향을 추출한다.

실험 결과

연구 질문

• RQ1 소프트웨어 생애주기 전반에서 LLM 기반 에이전트가 어떻게 설계되고 다양한 소프트웨어 엔지니어링 작업에 적용되는가?
• RQ2 SE 도메인에서 LLM 기반 에이전트의 일반적인 아키텍처 구성요소와 협업 메커니즘은 무엇인가?
• RQ3 소프트웨어 엔지니어링에서 LLM 기반 에이전트의 현재 도전과제와 향후 연구 방향은 무엇인가?

주요 결과

• 총 106편의 논문이 수집되었으며, 대부분 arXiv에서 출처를 확인할 수 있고 이 분야는 빠르게 확장되고 있다.
• LLM 기반 에이전트는 주로 코드 생성 및 코드 품질 보증에 사용되며, 일부 연구는 엔드투엔드 개발 또는 유지보수를 다룬다.
• 다중 에이전트 시스템과 인간-에이전트 협업은 복잡한 SE 문제를 해결하기 위한 일반적인 주제이다.
• 에이전트 구성요소(계획, 메모리, 인지/지각, 행동)가 SE 작업 성능과의 연관성을 분석한다.
• 독립형 LLM과 자율 에이전트 간의 간극이 인식되며, 에이전트는 외부 도구 및 환경과의 상호작용을 개선한다.