[论文解读] Is ChatGPT the Ultimate Programming Assistant -- How far is it?

Haoye Tian, Weiqi Lu+5 more|arXiv (Cornell University)|Apr 24, 2023

Software Engineering Research被引用 108

一句话总结

本文通过实证研究评估 ChatGPT 作为一个完整的自动化编程助手，专注于代码生成、程序修复和代码摘要，使用 LeetCode 和 Refactory 基准测试，凸显其能力与局限。

ABSTRACT

Recently, the ChatGPT LLM has received great attention: it can be used as a bot for discussing source code, prompting it to suggest changes, provide descriptions or even generate code. Typical demonstrations generally focus on existing benchmarks, which may have been used in model training (i.e., data leakage). To assess the feasibility of using an LLM as a useful assistant bot for programmers, we must assess its realistic capabilities on unseen problems as well as its capabilities on various tasks. In this paper, we present an empirical study of ChatGPT's potential as a fully automated programming assistant, focusing on the tasks of code generation, program repair, and code summariziation. The study investigates ChatGPT's performance on common programming problems and compares it with state-of-the-art approaches on two benchmarks. Among several findings, our study shows that ChatGPT is effective in dealing with common programming problems. However, our experiments also reveal limitations in terms of its attention span: detailed descriptions will constrain the focus of ChatGPT and prevent it from leveraging its vast knowledge to solve the actual problem. Surprisingly, we have identified the ability of ChatGPT to reason the original intention of the code. We expect future work to build on this insight for dealing with the open question of the oracle problem. Our findings contribute interesting insights to the development of LLMs for programming assistance, notably by demonstrating the importance of prompt engineering, and providing a better understanding of ChatGPT's practical applications for software engineering.

研究动机与目标

• 评估 ChatGPT 生成常见编程问题的正确且高效代码的能力。
• 评估 ChatGPT 修复多样化错误代码提交的有效性。
• 确定 ChatGPT 是否能够识别代码的意图并提供简明解释。
• 研究提示设计与输入描述如何影响 ChatGPT 在软件工程任务中的表现。

提出的方法

• 使用两个基于 LeetCode 的数据集（2016-2020 与 2022）来评估代码生成性能。
• 使用 Refactory Python 缺陷基准测试（1783 个有 bug 的程序，2442 个正确）来评估程序修复。
• 评估 ChatGPT 解释正确代码和有 bug 代码的意图的能力（代码摘要）。
• 对每个任务使用五个独立提示以考虑随机性，并报告 TOP-5 与 AVG-5 指标。
• 通过分析基准测试在训练中是否可能被看到来降低数据泄露的担忧。

实验结果

研究问题

• RQ1 RQ-1 ChatGPT 在常见编程问题上生成正确且高效代码的能力如何？
• RQ2 RQ-2 ChatGPT 修复常见问题的多样化有缺陷代码实现的效果如何？
• RQ3 RQ-3 ChatGPT 是否能够识别并解释给定代码的意图，包括有缺陷的版本？

主要发现

• ChatGPT 可以在一系列问题上生成正确的代码，并且在 LeetCode 数据上超过了一些先前的方法。
• 对于新问题或更难的问题，ChatGPT 的表现下降，表明对未见问题的泛化能力有限。
• 提供冗长的描述可能降低 ChatGPT 的效果；提示设计对获得好结果至关重要。
• ChatGPT 在修复方面取得了具有竞争力的结果，TOP-5 成功率约 84%，AVG-5 约 60%，并且受益于输出多样性。
• ChatGPT 能够识别有缺陷代码的原始意图，为测试 oracle 问题提供洞见。
• 研究强调应将 ChatGPT 作为助手使用，而非自治的程序员，并强调多输出的重要性。