[논문 리뷰] UniDebugger: Hierarchical Multi-Agent Framework for Unified Software Debugging

Cheryl Lee, Chunqiu Steven Xia외 5명|arXiv (Cornell University)|2024. 04. 26.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

이 논문은 고무오리 디버깅에 영감을 얻은 계층적 에이전트 협업을 활용해 종단 간 소프트웨어 디버깅을 수행하는 통합형 LLM 기반 다중 에이전트 프레임워크인 FixAgent을 제안한다. 장애 원인 규명, 수리 생성, 후속 분석을 전담하는 에이전트 각각이 추론 과정을 상세히 설명함으로써 QuixBugs에서 97.26%의 정확도를 달성하고 80개의 버그 중 79개를 수정하며, 이 중 9개는 이전에 수정되지 않은 버그였으며, 샘플링 최소화 조건에서도 기존 도구보다 1.9배 높은 가능성 있는 패치를 제공한다.

ABSTRACT

Software debugging is a time-consuming endeavor involving a series of steps, such as fault localization and patch generation, each requiring thorough analysis and a deep understanding of the underlying logic. While large language models (LLMs) demonstrate promising potential in coding tasks, their performance in debugging remains limited. Current LLM-based methods often focus on isolated steps and struggle with complex bugs. In this paper, we propose the first end-to-end framework, FixAgent, for unified debugging through multi-agent synergy. It mimics the entire cognitive processes of developers, with each agent specialized as a particular component of this process rather than mirroring the actions of an independent expert as in previous multi-agent systems. Agents are coordinated through a three-level design, following a cognitive model of debugging, allowing adaptive handling of bugs with varying complexities. Experiments on extensive benchmarks demonstrate that FixAgent significantly outperforms state-of-the-art repair methods, fixing 1.25$ imes$ to 2.56$ imes$ bugs on the repo-level benchmark, Defects4J. This performance is achieved without requiring ground-truth root-cause code statements, unlike the baselines. Our source code is available on https://github.com/AcceptePapier/UniDebugger.

연구 동기 및 목표

• 기존의 전통적 및 LLM 기반 디버깅 도구의 한계, 특히 부정확한 장애 원인 규명, 복잡한 논리 버그 처리 곤란, 맥락 무시 문제를 해결한다.
• 사전에 특정 버그 위치가 제공되지 않는 의존성 문제를 해결하고, 디버깅 파이프라인에 추론과 맥락 이해 능력을 통합함으로써 수리 품질을 향상시킨다.
• 고무오리 디버깅과 같은 인간의 디버깅 관행을 시뮬레이션하는 협업 기반의 LLM 에이전트를 통해 종단 간 통합 디버깅을 가능하게 한다.
• 피팅 또는 이전 버그-수리 데이터에의 액세스 없이도 LLM의 프로그램 논리 및 맥락에 대한 추론 능력을 향상시킨다.

제안 방법

• 장애 원인 규명자, 프로그램 수리자, 분석가로 구성된 세 종류의 전문화된 LLM 에이전트를 포함하는 계층적 다중 에이전트 시스템을 설계하며, 각 에이전트는 고무오리 디버깅 방식을 모방해 단계별로 상세한 설명을 제공한다.
• 핵심 변수 추적을 구현하여 에이전트가 복잡한 버그에서 중요한 논리 요소에 집중하고 추론 정확도를 향상시킨다.
• 함수 정의, 변수 스코프, 외부 라이브러리 정보를 프롬프트 엔지니어링에 통합함으로써 프로그램 맥락 이해 능력을 향상시켜 맥락 무시 문제를 줄인다.
• 에이전트 간 협업을 구현하여 수리자가 처음에 지목된 의심스러운 라인 외부의 코드도 수정함으로써 원인 규명자의 실수를 교정할 수 있도록 한다.
• 재학습 또는 피팅 없이도 LLM이 깊이 있는 추론을 하도록 이끄는 고무오리 디버깅 원칙을 기반으로 한 통합형 프롬프트 설계를 적용한다.
• 수리 생성을 위해 클로즈 스타일의 인페인딩 파라디그마를 적용하여 모델이 전체 맥락을 기반으로 누락된 코드 조각을 예측함으로써 의미적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 버그 위치가 특정되지 않은 조건에서도 기존 최첨단 APR 도구보다 정확도와 커버리지 측면에서 뛰어난 성능을 내는 통합형 다중 에이전트 LLM 프레임워크는 가능한가?
• RQ2 표준 프롬프팅 대비 고무오리 디버깅에 영감을 얻은 추론 방식은 LLM의 복잡한 논리 버그 탐지 및 수정 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 특화된 에이전트 간의 협업은 부정확한 장애 원인 규명이 후속 수리 품질에 미치는 영향을 어느 정도 완화할 수 있는가?
• RQ4 프로그램 맥락 이해 능력 향상은 LLM 기반 디버깅에서 맥락 무시 문제를 상당히 줄이고 정확도를 향상시키는 데 효과적인가?
• RQ5 최소한의 데이터로 훈련하고 피팅 없이도 이전에 수정되지 않은 버그나 새로운 버그에 대해 제안된 프레임워크가 일반화 가능한가?

주요 결과

• FixAgent는 QuixBugs 데이터셋에서 80개의 버그 중 79개를 수정하여 97.26%의 정확도를 달성했으며, 이 중 9개는 이전에 수정되지 않은 버그였다.
• Codeflaws 데이터셋에서 FixAgent는 버그 위치 정보 없이도 가장 성능이 뛰어난 수리 도구보다 1.9배 더 많은 가능성 있는 패치를 생성했다.
• 다양한 모델을 대상으로 FixAgent는 기본 LLM 대비 평균 약 20% 높은 정확하고 타당한 수리 수를 기록하여 에이전트 간 협업과 추론 설계의 효과를 입증했다.
• 기존 APR 도구에서 흔한 과적합 문제를 크게 줄였으며, 새로 수집한 미리보지 않은 데이터에서 높은 일반화 성능을 통해 이를 입증했다.
• 샘플링 시간이 0.6% 미만으로 매우 짧아 높은 효율성과 낮은 계산 오버헤드를 확보했다.
• 고무오리 디버깅에 영감을 얻은 프롬프팅 방식은 추론 깊이와 논리 이해 능력을 향상시켜 표준 프롬프팅 대비 복잡한 논리 오류 처리 능력을 향상시켰다.