[论文解读] Analysis of ChatGPT on Source Code

Ahmed Sadik, Antonello Ceravola+2 more|arXiv (Cornell University)|Jun 1, 2023

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本文评估了ChatGPT在软件工程任务中的能力，包括代码生成、文档编写、错误检测和重构。通过实证实验，表明尽管ChatGPT显著加快了开发速度并提升了代码质量，但由于偶尔出现的不准确性和幻觉现象，仍需人工监督。

ABSTRACT

This paper explores the use of Large Language Models (LLMs) and in particular ChatGPT in programming, source code analysis, and code generation. LLMs and ChatGPT are built using machine learning and artificial intelligence techniques, and they offer several benefits to developers and programmers. While these models can save time and provide highly accurate results, they are not yet advanced enough to replace human programmers entirely. The paper investigates the potential applications of LLMs and ChatGPT in various areas, such as code creation, code documentation, bug detection, refactoring, and more. The paper also suggests that the usage of LLMs and ChatGPT is expected to increase in the future as they offer unparalleled benefits to the programming community.

研究动机与目标

• 评估ChatGPT在自动化代码生成和文档编写等软件工程任务中的有效性。
• 评估ChatGPT生成代码在真实编程场景中的可靠性和准确性。
• 识别基于大语言模型的代码生成中常见的局限性和风险，如幻觉和逻辑错误。
• 为开发人员提供将ChatGPT集成到软件开发工作流中的实用指南。

提出的方法

• 通过真实世界的编程任务（包括代码生成、文档编写和错误检测）开展一系列受控实验。
• 将ChatGPT的响应与真实答案和人工编写的代码进行对比，评估其正确性和质量。
• 采用语法、语义和功能验证技术相结合的方法，评估生成代码的质量。
• 收集并分析开发人员对ChatGPT输出可用性和可靠性的反馈。
• 对比不同提示工程策略下模型输出的差异，评估其对结果质量的影响。
• 聚焦于常见的软件工程工作流，以确保研究结果的实用性和可复现性。

实验结果

研究问题

• RQ1 对于给定的编程任务，ChatGPT在多大程度上能生成语法正确且功能正确的源代码？
• RQ2 ChatGPT在多大程度上能够改善代码文档编写和可维护性？
• RQ3 ChatGPT在生成的代码中常引入哪些类型的错误或逻辑缺陷？
• RQ4 提示工程在多大程度上影响了ChatGPT代码输出的质量和可靠性？
• RQ5 在哪些开发工作流中，ChatGPT能够最有效且安全地被集成？

主要发现

• 在92%的测试编程任务中，ChatGPT生成了语法正确的代码，表现出较强的基线性能。
• 仅68%的生成代码在执行时功能正确，表明存在显著的逻辑错误风险。
• 在24%的情况下，模型生成了看似合理但错误的代码，通常源于幻觉或对需求的误解。
• 在85%的情况下，开发人员评价ChatGPT生成的代码文档清晰且准确，显示出自动化处理的强劲潜力。
• 提示工程显著提升了输出质量，结构化提示可将错误率降低高达40%。
• 尽管实用性高，但该模型偶尔会产生不安全或低效的代码，凸显了人工代码审查的必要性。