[논문 리뷰] Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming

Anisha Agarwal, Aaron Chan외 7명|arXiv (Cornell University)|2024. 02. 22.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 다중 언어 데이터셋과 빌드/테스트 해니스를 사용하여 IDE에 통합된 LLM을 다섯 가지 소프트웨어 작업에 걸쳐 정적 및 실행 기반 지표로 평가하기 위한 Copilot Evaluation Harness를 소개한다.

ABSTRACT

The integration of Large Language Models (LLMs) into Development Environments (IDEs) has become a focal point in modern software development. LLMs such as OpenAI GPT-3.5/4 and Code Llama offer the potential to significantly augment developer productivity by serving as intelligent, chat-driven programming assistants. However, utilizing LLMs out of the box is unlikely to be optimal for any given scenario. Rather, each system requires the LLM to be honed to its set of heuristics to ensure the best performance. In this paper, we introduce the Copilot evaluation harness: a set of data and tools for evaluating LLM-guided IDE interactions, covering various programming scenarios and languages. We propose our metrics as a more robust and information-dense evaluation than previous state of the art evaluation systems. We design and compute both static and execution based success metrics for scenarios encompassing a wide range of developer tasks, including code generation from natural language (generate), documentation generation from code (doc), test case generation (test), bug-fixing (fix), and workspace understanding and query resolution (workspace). These success metrics are designed to evaluate the performance of LLMs within a given IDE and its respective parameter space. Our learnings from evaluating three common LLMs using these metrics can inform the development and validation of future scenarios in LLM guided IDEs.

연구 동기 및 목표

• 이전 코드 생성 벤치마크를 넘어서 LLM-가이드 IDE 상호작용의 견고한 평가를 촉진한다.
• 평가를 위한 다섯 가지 실제 소프트웨어 엔지니어링 작업(doc, fix, generate, test, workspace)을 정의한다.
• 구문, 정확성, 통합 품질을 포착하는 정적 및 실행 기반 성공 지표를 제안한다.
• 다양한 언어와 환경에 적응 가능한 IDE 비의존적 평가 파이프라인과 데이터 수집을 제공한다.

제안 방법

• IDE에서 소프트웨어 엔지니어링 작업에 맞춤화된 평가 지표를 제시한다.
• 정적 분석 및 런타임 테스트 실행을 사용하여 정확성과 신뢰성을 측정한다.
• VS Code 내에서 다섯 가지 작업(doc, fix, generate, test, workspace)을 여러 LLM(GPT-3.5, GPT-4, Code Llama)을 사용하여 평가한다.
• 언어별 빌드/테스트 해니스를 갖춘 GitHub 저장소에서 다국어 데이터 수집 파이프라인을 구축한다.
• 구문 정확성, 테스트 통과율, 검색 품질을 측정하여 엔드 투 엔드 통합을 평가한다.
• 어떤 IDE에도 해니스를 적용하는 절차와 IDE 매개변수 공간의 튜닝 방법을 설명한다.

실험 결과

연구 질문

• RQ1 IDE 기반 코딩 어시스턴트를 구동할 때 다른 LLM들(GPT-3.5, GPT-4, Code Llama)은 어떻게 비교되는가?
• RQ2 Copilot Evaluation Harness가 IDE 내 LLM 배치를 개선하기 위한 어떤 통합 인사이트를 제공하는가?
• RQ3 우리의 테스트 케이스가 다국어 및 작업 전반에 걸친 LLM 기반 코딩 어시스턴트의 실제 사용을 반영하는가?

주요 결과

Language	Model	Syntax Correctness	Format Correctness
Python	GPT-4	100%	83%
Python	GPT-3.5	100%	87%
Python	Code Llama	100%	87%
Javascript	GPT-4	83%	100%
Javascript	GPT-3.5	83%	100%
Javascript	Code Llama	79%	55%
Typescript	GPT-4	96%	79%
Typescript	GPT-3.5	96%	86%
Typescript	Code Llama	77%	65%
Java	GPT-4	100%	93%
Java	GPT-3.5	100%	80%
Java	Code Llama	100%	64%
C#	GPT-4	100%	89%
C#	GPT-3.5	100%	75%
C#	Code Llama	94%	67%
C/C++	GPT-4	92%	94%
C/C++	GPT-3.5	92%	77%
C/C++	Code Llama	90%	38%

• GPT-4는 대부분의 언어에서 문서 생성에서 일반적으로 GPT-3.5 및 Code Llama를 능가한다.
• 버그 수정에서는 GPT-4가 일반적으로 선두를 차지하며, Code Llama는 여러 언어에서 현저히 뒤처진다.
• Code Llama는 Python 문서 작업에서 강한 성능을 보이지만 C/C++ 문서 작업에서는 저조하다.
• 버그 수정에서 C#는 모든 모델에 여전히 도전적이며, 일부 경우 GPT-3.5가 다른 모델보다 우수하다.
• 다국어에 걸쳐 모델의 성능은 작업에 따라 달라지며, IDE에서 맞춤 프롬프트와 맥락의 중요성을 강조한다.