[论文解读] Some things never change: how far generative AI can really change software engineering practice

Aline de Campos, Jorge Melegati+4 more|arXiv (Cornell University)|Jun 14, 2024

Big Data and Business Intelligence被引用 6

一句话总结

本文对软件工程师进行调查，以识别在不久至中期内不太可能被 GenAI 深度改变的 SE 方面，并将这些观点与现有的 SE 路线图进行比较，同时突出预计的生产力提升以及持续存在的人类需求和道德关切。

ABSTRACT

Generative Artificial Intelligence (GenAI) has become an emerging technology with the availability of several tools that could impact Software Engineering (SE) activities. As any other disruptive technology, GenAI led to the speculation that its full potential can deeply change SE. However, an overfocus on improving activities for which GenAI is more suitable could negligent other relevant areas of the process. In this paper, we aim to explore which SE activities are not expected to be profoundly changed by GenAI. To achieve this goal, we performed a survey with SE practitioners to identify their expectations regarding GenAI in SE, including impacts, challenges, ethical issues, and aspects they do not expect to change. We compared our results with previous roadmaps proposed in SE literature. Our results show that although practitioners expect an increase in productivity, coding, and process quality, they envision that some aspects will not change, such as the need for human expertise, creativity, and project management. Our results point to SE areas for which GenAI is probably not so useful, and future research could tackle them to improve SE practice.

研究动机与目标

• 识别在短期/中期内不太可能被 GenAI 深度改变的 SE 活动。
• 将从业者的期望与先前文献中的 SE 路线图进行比较。
• 突出感知的收益，如生产力和质量提升，以及持续存在的人本需求。
• 讨论影响 GenAI 在 SE 中采用的挑战、伦理考虑和组织因素。

提出的方法

• 设计并实施面向大型 IT 公司的 SE 专业人士的结构化在线问卷。
• 用描述性统计分析定量数据，并用主题分析法分析定性数据。
• 进行预测试以优化问题、确保清晰性并最小化偏见。
• 对开放式回答使用归纳性（扎根理论）编码来识别主题。
• 以支持性的可视化结果呈现，并提供一个附加数据包（Zenodo），其中包含编码和类别。

实验结果

研究问题

• RQ1 在短期至中期内，哪些 SE 方面不太可能因为 GenAI 而发生深层变化？
• RQ2 从业者的期望与先前提出的关于 GenAI 影响的 SE 路线图之间的对齐情况如何？
• RQ3 在 SE 中采用 GenAI 的主要感知收益、挑战和伦理考虑是什么？
• RQ4 哪些 SE 过程被认为最容易受 GenAI 增强影响，哪些最不易？

主要发现

• 从业者预期生产力和质量提升，但不认为在专业知识、创造力和某些管理方面会有深层变化。
• 编码和单元测试是最常被识别为具备 GenAI 潜力的过程，其次是架构、系统/测试和维护，在不同程度上。
• 感知影响包括敏捷性、分析/开发支持、过程质量提升，以及人机协作增加和新角色。
• 主要采用挑战是人为/文化问题、技术问题（尤其是数据安全与模型透明性）以及战略/管理方面的考虑。
• 伦理关注点集中在数据完整性、隐私、偏见、透明度、知识产权、问责性，以及治理和人为监督的需要。