[论文解读] Copilot Evaluation Harness: Evaluating LLM-Guided Software Programming

Anisha Agarwal, Aaron Chan+7 more|arXiv (Cornell University)|Feb 22, 2024

Software Engineering Research被引用 6

一句话总结

本论文引入 Copilot Evaluation Harness，用于在静态和执行基准下评估 IDE 集成的 LLM，在五个软件任务上，使用多语言数据集和构建/测试框架。

ABSTRACT

The integration of Large Language Models (LLMs) into Development Environments (IDEs) has become a focal point in modern software development. LLMs such as OpenAI GPT-3.5/4 and Code Llama offer the potential to significantly augment developer productivity by serving as intelligent, chat-driven programming assistants. However, utilizing LLMs out of the box is unlikely to be optimal for any given scenario. Rather, each system requires the LLM to be honed to its set of heuristics to ensure the best performance. In this paper, we introduce the Copilot evaluation harness: a set of data and tools for evaluating LLM-guided IDE interactions, covering various programming scenarios and languages. We propose our metrics as a more robust and information-dense evaluation than previous state of the art evaluation systems. We design and compute both static and execution based success metrics for scenarios encompassing a wide range of developer tasks, including code generation from natural language (generate), documentation generation from code (doc), test case generation (test), bug-fixing (fix), and workspace understanding and query resolution (workspace). These success metrics are designed to evaluate the performance of LLMs within a given IDE and its respective parameter space. Our learnings from evaluating three common LLMs using these metrics can inform the development and validation of future scenarios in LLM guided IDEs.

研究动机与目标

• 推动对 LLM 指导的 IDE 交互进行比以往代码生成基准更为稳健的评估。
• 为评估定义五个真实世界的软件工程任务（文档、修复、生成、测试、工作区）。
• 提出能够捕捉语法、正确性和集成质量的静态与基于执行的成功指标。
• 提供可收集数据的、与 IDE 无关的评估流程，适用于不同语言和环境。

提出的方法

• 提供一组针对 IDE 中软件工程任务的评估指标。
• 使用静态分析和运行时测试执行来衡量正确性和可靠性。
• 在 VS Code 中使用多种 LLM（GPT-3.5、GPT-4、Code Llama）评估五个任务：文档、修复、生成、测试、工作区。
• 从 GitHub 代码库构建一个跨语言的数据收集管道，配以语言特定的构建/测试框架。
• 通过衡量语法正确性、测试通过率和检索质量来评估端到端集成。
• 描述将评估框架应用于任意 IDE 的过程，以及对 IDE 参数空间进行调整的做法。

实验结果

研究问题

• RQ1 在为 IDE 编码助手提供支持时，不同的 LLM（GPT-3.5、GPT-4、Code Llama）之间的比较如何？
• RQ2 Copilot Evaluation Harness 能提供哪些集成洞察，以改进在 IDE 中的 LLM 部署？
• RQ3 我们的测试用例是否反映了跨语言和任务的 LLM 驱动编码助手的真实世界使用情况？

主要发现

语言	模型	语法正确性	格式正确性
Python	GPT-4	100%	83%
Python	GPT-3.5	100%	87%
Python	Code Llama	100%	87%
Javascript	GPT-4	83%	100%
Javascript	GPT-3.5	83%	100%
Javascript	Code Llama	79%	55%
Typescript	GPT-4	96%	79%
Typescript	GPT-3.5	96%	86%
Typescript	Code Llama	77%	65%
Java	GPT-4	100%	93%
Java	GPT-3.5	100%	80%
Java	Code Llama	100%	64%
C#	GPT-4	100%	89%
C#	GPT-3.5	100%	75%
C#	Code Llama	94%	67%
C/C++	GPT-4	92%	94%
C/C++	GPT-3.5	92%	77%
C/C++	Code Llama	90%	38%

• GPT-4 在大多数语言的文档生成方面通常优于 GPT-3.5 和 Code Llama。
• 在修复任务中，GPT-4 通常领先，而 Code Llama 在若干语言中显著落后。
• Code Llama 在 Python 文档任务上表现强劲，但在 C/C++ 文档任务上表现不足。
• 在修复任务中，C# 对所有模型而言仍具挑战性，在某些情况下 GPT-3.5 表现优于其他模型。
• 跨语言来说，模型在不同任务上的表现各异，凸显在 IDE 中定制提示和上下文的重要性。