[논문 리뷰] Agents in Software Engineering: Survey, Landscape, and Vision

Yanlin Wang, Wanjun Zhong외 8명|arXiv (Cornell University)|2024. 09. 13.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학 분야에서 LLM 기반 에이전트에 대한 최초의 종합적 서베이를 제시하며, 에이전트 설계를 체계화하기 위해 인지, 기억, 행동의 세 모듈로 구성된 프레임워크를 도입한다. 다중모달 인지 격차, 환각 현상, 비효율적인 다중 에이전트 협업, 도메인 특화 지식 기반의 부족과 같은 핵심 과제를 규명하면서, LLM 에이전트와 소프트웨어 공학 분야 간 상호 발전을 이끌 미래 연구 기회를 제안한다.

ABSTRACT

In recent years, Large Language Models (LLMs) have achieved remarkable success and have been widely used in various downstream tasks, especially in the tasks of the software engineering (SE) field. We find that many studies combining LLMs with SE have employed the concept of agents either explicitly or implicitly. However, there is a lack of an in-depth survey to sort out the development context of existing works, analyze how existing works combine the LLM-based agent technologies to optimize various tasks, and clarify the framework of LLM-based agents in SE. In this paper, we conduct the first survey of the studies on combining LLM-based agents with SE and present a framework of LLM-based agents in SE which includes three key modules: perception, memory, and action. We also summarize the current challenges in combining the two fields and propose future opportunities in response to existing challenges. We maintain a GitHub repository of the related papers at: https://github.com/DeepSoftwareAnalytics/Awesome-Agent4SE.

연구 동기 및 목표

• 소프트웨어 공학 분야에서 LLM 기반 에이전트에 관한 기존 연구를 체계적으로 서베이하고 분류하기.
• 인지, 기억, 행동 모듈로 구성된 소프트웨어 공학 분야에서 LLM 기반 에이전트를 위한 통합 개념적 프레임워크를 수립하기.
• LLM 기반 에이전트를 소프트웨어 공학 작업에 통합함에 있어 주요 과제를 규명하기, 예를 들어 환각 현상, 코드 특화 지식 기반의 부족, 비효율적인 다중 에이전트 협업 등.
• 에이전트 능력을 향상시키고 반대로 소프트웨어 공학 기술을 활용해 에이전트 성능을 개선하는 데 기여할 수 있는 향후 연구 방향 제안하기.
• 연구 공동체를 위해 관련 논문을 공개적으로 코딩하고 유지 관리하는 GitHub 레포지터리 구축 및 운영하기.

제안 방법

• 체계적 데이터 수집 및 품질 평가를 통해 소프트웨어 공학 분야에서 LLM 기반 에이전트에 관한 115篇의 논문을 수집하고 필터링하였다.
• 소프트웨어 공학 분야에서 LLM 기반 에이전트를 위한 세 모듈 프레임워크를 제안하였다: 인지(다중모달 입력 처리), 기억(의미적, 경험적, 절차적 기억), 행동(내부 및 외부 행동).
• 제안된 프레임워크를 기반으로 기존 연구를 분석하여 에이전트 설계 및 응용 분야의 격차와 추세를 규명하였다.
• 인지 기능의 제한, 복잡한 소프트웨어 공학 작업에 대한 추론 문제, 외부 지식 기반의 부족 등을 분석하여 과제를 규명하였다.
• 소프트웨어 공학과 에이전트 연구 간 상호 이점적 상호작용을 탐색하였으며, 예를 들어 테스트, 버전 관리 등의 소프트웨어 공학 기법을 활용해 에이전트의 신뢰성과 성능을 향상시키는 방안을 고려했다.
• 규명된 과제를 바탕으로 향후 연구 방향을 제안하였으며, 코드 특화 지식 기반 개발 및 다중 에이전트 간 통신 최적화 등을 포함한다.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트는 현재 소프트웨어 공학 작업에서 어떻게 적용되고 있으며, 그 설계 패턴은 어떤가?
• RQ2 소프트웨어 공학 분야에서 LLM 기반 에이전트의 핵심 구성 요소는 무엇이며, 인지-기억-행동 프레임워크와 어떻게 일치하는가?
• RQ3 LLM 기반 에이전트를 소프트웨어 공학 워크플로우에 효과적으로 통합하는 데 걸림돌이 되는 주요 과제는 무엇인가?
• RQ4 소프트웨어 공학 특화 기술은 LLM 기반 에이전트의 내구성, 효율성, 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ5 LLM 에이전트 분야와 소프트웨어 공학 분야 간 상호 발전을 이끌 수 있는 기회가 무엇이 있는가?

주요 결과

• 소프트웨어 공학 분야에서 LLM 기반 에이전트의 인지 모듈은 주로 텍스트 입력에 국한되어 있으며, 시각적 또는 청각적 입력과 같은 다른 모odalities에 대한 탐색은 미미한 편이다.
• 현재 에이전트의 기억 모듈은 의미적, 경험적, 절차적 기억을 포함하고 있으나, 체계적인 구현 및 시스템 간 통합이 부족하다.
• 행동 모듈은 내부 추론과 외부 상호작용을 모두 포함하고 있으나, 외부 행동은 일반적으로 기초적인 함수 호출과 HTTP 상호작용에 의존하며 고도화된 도구 통합이 부족하다.
• 에이전트가 외부 검색 소스로 활용할 수 있는 공신력 있는 코드 특화 지식 기반의 부재로 인해 심각한 격차가 존재한다.
• LLM 기반 에이전트의 환각 현상(예: 존재하지 않는 API를 창출하는 것)은 신뢰성을 저하시키는 주요 문제이며, LLM 수준과 에이전트 수준의 최적화를 통해 완화 가능하다.
• 소프트웨어 공학 작업에서의 다중 에이전트 협업은 높은 계산 및 통신 오버헤드를 겪고 있어, 더 효율적인 조율 및 자원 관리 기법이 필요하다.