[论文解读] In-IDE Code Generation from Natural Language: Promise and Challenges

Frank F. Xu, Bogdan Vasilescu+1 more|arXiv (Cornell University)|Jan 27, 2021

Software Engineering Research被引用 11

一句话总结

本文评估了一款集成前沿代码生成与检索技术的PyCharm内插件，支持自然语言查询，尽管开发者体验积极，但生产力与正确性方面的量化结果表现不一。研究识别出关键可用性挑战，并为未来AI辅助编码工具的改进提供了可操作的见解。

ABSTRACT

A great part of software development involves conceptualizing or communicating the underlying procedures and logic that needs to be expressed in programs. One major difficulty of programming is turning concept into code, especially when dealing with the APIs of unfamiliar libraries. Recently, there has been a proliferation of machine learning methods for code generation and retrieval from natural language queries, but these have primarily been evaluated purely based on retrieval accuracy or overlap of generated code with developer-written code, and the actual effect of these methods on the developer workflow is surprisingly unattested. We perform the first comprehensive investigation of the promise and challenges of using such technology inside the IDE, asking "at the current state of technology does it improve developer productivity or accuracy, how does it affect the developer experience, and what are the remaining gaps and challenges?" We first develop a plugin for the IDE that implements a hybrid of code generation and code retrieval functionality, and orchestrate virtual environments to enable collection of many user events. We ask developers with various backgrounds to complete 14 Python programming tasks ranging from basic file manipulation to machine learning or data visualization, with or without the help of the plugin. While qualitative surveys of developer experience are largely positive, quantitative results with regards to increased productivity, code quality, or program correctness are inconclusive. Analysis identifies several pain points that could improve the effectiveness of future machine learning based code generation/retrieval developer assistants, and demonstrates when developers prefer code generation over code retrieval and vice versa. We release all data and software to pave the road for future empirical studies and development of better models.

研究动机与目标

• 探究在IDE内使用基于自然语言的代码生成与检索是否能提升开发者的生产力、代码质量和正确性。
• 理解开发者在真实编程任务中如何与AI辅助编码工具交互及其使用感受。
• 识别当前基于机器学习的代码生成与检索系统在实际开发工作流中存在的可用性挑战与不足。
• 提供实证数据与开源工具，以支持未来AI辅助软件开发领域的研究。

提出的方法

• 开发了一款PyCharm插件，集成基于Big Code数据集训练的前沿模型所实现的代码生成与代码检索功能。
• 通过虚拟环境记录细粒度的用户交互行为，包括击键、代码编辑、网页浏览及IDE事件。
• 组织了一项受控的用户研究，邀请具有不同背景的开发者完成14项多样化的Python任务，涵盖文件I/O、机器学习与数据可视化等。
• 收集了定量指标（任务完成时间、代码正确性、代码质量）与通过问卷收集的定性反馈。
• 分析了开发者在任务复杂度与意图清晰度不同的情况下，更倾向于使用代码生成还是代码检索的原因。
• 发布所有收集的数据与软件，以支持该领域未来的实证研究与模型开发。

实验结果

研究问题

• RQ1 使用IDE内嵌的基于自然语言的代码生成与检索工具是否能缩短任务完成时间，从而提升开发者的生产力？
• RQ2 与手动编码相比，该工具在代码正确性与质量方面提升了多少？
• RQ3 开发者在真实编程工作流中如何看待该工具的可用性与实用性？
• RQ4 在何种条件下，开发者更倾向于使用代码生成而非代码检索，反之亦然？
• RQ5 当前AI辅助编码工具在实际使用中存在哪些关键可用性挑战与局限？

主要发现

• 在生产力、代码正确性与质量方面的量化结果不明确，所有任务中均未观察到统计显著的提升。
• 开发者报告了积极的主观体验，表明该工具在用户满意度与参与度方面具有巨大潜力。
• 主要挑战在于自然语言意图与实际所需代码之间的不匹配，尤其在复杂或模糊的查询中更为明显。
• 对于定义明确、与API相关的任务（如文件是否存在检查），开发者更倾向于使用代码检索；而对于高层次逻辑或不常见模式，则更偏好代码生成。
• 该工具常生成语法正确但语义错误或不完整的代码，凸显其在推理与上下文理解方面的差距。
• 研究发现，当前模型在理解细微或依赖上下文的编程意图方面存在困难，尤其是在真实的IDE工作流中。