[논문 리뷰] AI-powered Code Review with LLMs: Early Results

Zeeshan Rasheed, M. Sami외 6명|arXiv (Cornell University)|2024. 04. 29.

Law, AI, and Intellectual Property인용 수 6

한 줄 요약

네 가지 에이전트 기반의 LLM AI 시스템을 자율 코드 리뷰에 도입하여 버그, 코드 냄새를 식별하고 코드를 최적화합니다. 대규모 GitHub 데이터셋으로 훈련되었습니다. 예비 결과는 다양한 AI 프로젝트에서 효과적인 이슈 탐지 및 실행 가능한 권고를 보여줍니다.

ABSTRACT

In this paper, we present a novel approach to improving software quality and efficiency through a Large Language Model (LLM)-based model designed to review code and identify potential issues. Our proposed LLM-based AI agent model is trained on large code repositories. This training includes code reviews, bug reports, and documentation of best practices. It aims to detect code smells, identify potential bugs, provide suggestions for improvement, and optimize the code. Unlike traditional static code analysis tools, our LLM-based AI agent has the ability to predict future potential risks in the code. This supports a dual goal of improving code quality and enhancing developer education by encouraging a deeper understanding of best practices and efficient coding techniques. Furthermore, we explore the model's effectiveness in suggesting improvements that significantly reduce post-release bugs and enhance code review processes, as evidenced by an analysis of developer sentiment toward LLM feedback. For future work, we aim to assess the accuracy and efficiency of LLM-generated documentation updates in comparison to manual methods. This will involve an empirical study focusing on manually conducted code reviews to identify code smells and bugs, alongside an evaluation of best practice documentation, augmented by insights from developer discussions and code reviews. Our goal is to not only refine the accuracy of our LLM-based tool but also to underscore its potential in streamlining the software development lifecycle through proactive code improvement and education.

연구 동기 및 목표

• 전통적인 정적 분석을 넘어 코드 리뷰를 향상시키기 위해 LLM의 사용 동기를 제시한다.
• 코드 냄새, 버그 및 모범 사례 준수를 탐지할 수 있는 AI 에이전트 프레임워크를 개발한다.
• 실행 가능한 개선 권고와 잠재적 코드 최적화를 제공한다.
• 실제 프로젝트에서 LLM 기반 피드백의 실행 가능성과 개발자의 수용성을 입증한다.
• LLM이 생성한 문서를 수동 방법과 비교하는 향후 작업을 개략한다.

제안 방법

• 네 가지 전문 에이전트: Code Review, Bug Report, Code Smell, Code Optimization Agents가 포함된 LLM 보조 코드 리뷰 아키텍처를 정의한다.
• 코드 리뷰, 버그 리포트, 모범 사례 문서를 포함한 대규모 코드 저장소 말뭉치에서 에이전트를 훈련한다.
• 훈련 및 평가를 위해 퍼블릭 저장소 데이터를 접근하기 위해 GitHub REST API를 사용한다.
• 문제 식별 및 개선 제안 능력을 평가하기 위해 10개의 AI 기반 GitHub 프로젝트에서 시스템을 평가한다.
• 정적 분석을 넘어 문제 및 최적화 기회를 적극적으로 식별하는 것을 강조한다.

실험 결과

연구 질문

• RQ1 RQ1: LLM 기반 AI 에이전트가 잠재적 이슈를 식별하고 실행 가능한 권고를 제시함으로써 코드 리뷰에 어떻게 효과적으로 도움을 줄 수 있는가?

주요 결과

• 모델은 여러 프로그래밍 언어와 AI 도메인에 걸쳐 경미한 버그에서 코드 냄새 및 비효율성에 이르는 이슈를 식별했다.
• DeepDive에서 모델은 유니코드 구문 분석 버그를 식별하고 단일 대형 함수의 리팩토링을 제안했다.
• NeuroStartUp에서 하드코딩된 매개변수는 코드 냄새로 지적되었고 구성 가능성을 권고했다.
• VisionQuest에서 구식 이미지 분할 알고리즘이 더 현대적이고 효율적인 옵션으로 대체되었다.
• LinguaKit에서 대용량 텍스트 처리의 병목 현상은 병렬 처리 및 더 나은 데이터 구조로 완화되었다.
• Other projects (AIFriendly, QuantumLeap, BioNexus, EcoSim, RoboTutor, SafeRoute) yielded detailed feedback on errors, refactoring, caching, and data handling to improve robustness and performance.