[论文解读] How much does AI impact development speed? An enterprise-based randomized controlled trial

Elise Paradis, Kate Grey+7 more|arXiv (Cornell University)|Oct 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本项基于企业的随机对照试验，针对96名谷歌软件工程师，评估了三种AI编程功能——AI代码补全、智能粘贴和自然语言转代码——对开发速度的影响。研究发现，AI使任务耗时平均减少21%，且存在显著的交互效应，表明经验更丰富的开发者从AI辅助中获益更多，尽管置信区间较宽。

ABSTRACT

How much does AI assistance impact developer productivity? To date, the software engineering literature has provided a range of answers, targeting a diversity of outcomes: from perceived productivity to speed on task and developer throughput. Our randomized controlled trial with 96 full-time Google software engineers contributes to this literature by sharing an estimate of the impact of three AI features on the time developers spent on a complex, enterprise-grade task. We found that AI significantly shortened the time developers spent on task. Our best estimate of the size of this effect, controlling for factors known to influence developer time on task, stands at about 21\%, although our confidence interval is large. We also found an interesting effect whereby developers who spend more hours on code-related activities per day were faster with AI. Product and future research considerations are discussed. In particular, we invite further research that explores the impact of AI at the ecosystem level and across multiple suites of AI-enhanced tools, since we cannot assume that the effect size obtained in our lab study will necessarily apply more broadly, or that the effect of AI found using internal Google tooling in the summer of 2024 will translate across tools and over time.

研究动机与目标

• 估算AI增强型开发工具对完成复杂企业级软件开发任务所花费时间的影响。
• 探究开发者层面和任务层面特征如何调节AI对开发速度的影响。
• 探索AI使用模式或用户专业水平是否影响生产力提升，特别是在高保真、真实世界开发环境中。
• 通过识别不同开发者经验水平和工作流情境下的差异化影响，为AI工具的产品设计和未来研究提供建议。
• 通过在真实企业环境中开展受控的、大规模的研究，使用真实任务和真实工具，弥补现有文献中的研究空白。

提出的方法

• 对96名全职谷歌软件工程师开展随机对照试验（RCT），随机分配至AI组或对照组。
• 使用公司内部专有工具：AI代码补全、智能粘贴和自然语言转代码，集成至开发者的标准工作流中。
• 测量在真实基础设施中涉及代码编写、构建文件更新和测试的复杂企业级开发任务的耗时。
• 应用t检验和线性回归分析，评估AI对任务耗时的主效应，同时控制开发者和任务层面的协变量。
• 基于理论框架使用多元回归分析，检验结果的稳健性及交互效应。
• 分析使用日志和自报数据，探索AI使用频率与绩效之间的关系，尽管统计效能较低。

Figure 1: AI Code Completion in Cider V. When a user starts typing code, the feature auto-completes the code block in light-grey font based on the context provided. After typing the first line of a new function to be evaluated at compile time, the user starts to type the return logic and the AI Code

实验结果

研究问题

• RQ1 RQ1：AI对完成企业级开发任务所花费时间有何影响？
• RQ2 RQ2：开发者和任务特征如何影响AI辅助对任务耗时的估计影响？
• RQ3 RQ3：开发者和任务特征如何与AI使用相互作用，从而加速或减缓特定开发者的进度？
• RQ4 RQ4：AI工具使用频率是否与任务速度提升相关？
• RQ5 RQ5：为何任务领域和编程语言专长并非任务速度的显著预测因子，尽管理论上预期其具有影响？

主要发现

• AI对开发速度的最佳估计影响为任务耗时减少21%，但95%置信区间较宽。
• 存在统计显著的交互效应，表明每日投入更多时间于代码相关活动的开发者从AI辅助中获益更多。
• 未发现AI工具使用频率与任务速度之间存在统计显著关系，提示工具可能存在使用上限效应或可用性下限。
• 研究未发现任务领域专长或编程语言熟悉度对任务耗时有显著影响，可能由于样本同质性较高。
• AI工具可能引发公平性问题：资深开发者可能受益更多，引发关于技能退化和高级功能访问权限的担忧。
• 结果表明，亟需开发‘专家模式’并改进AI工具间的知识传递机制，以支持高效率开发者，同时避免增加认知负荷。

Figure 2: Smart Paste feature in Cider V. When a user pastes code, Smart Paste provides an automatic adjustment to the code, then shows the inline diff highlights the removal of tryfromenv (strikethrough) and the insertion of flagfile (italic and lower opacity). The user can accept the adjustment us