[论文解读] AI Tool Use and Adoption in Software Development by Individuals and Organizations: A Grounded Theory Study

Ze Shi Li, Nowshin Nawar Arony+3 more|arXiv (Cornell University)|Jun 25, 2024

Impact of AI and Big Data on Business and SocietyDecision Sciences被引用 3

一句话总结

本实证理论研究探讨了影响软件开发中AI工具采纳的个人与组织动机及挑战。通过26次访谈和对395名从业者的调查，研究识别出2项个人动机和3项组织动机，4项个人挑战和3项组织挑战，并揭示了3对推动-阻碍关系，这些关系塑造了采纳行为——为提升工程团队中AI工具的整合提供了可操作的见解。

ABSTRACT

AI assistance tools such as ChatGPT, Copilot, and Gemini have dramatically impacted the nature of software development in recent years. Numerous studies have studied the positive benefits that practitioners have achieved from using these tools in their work. While there is a growing body of knowledge regarding the usability aspects of leveraging AI tools, we still lack concrete details on the issues that organizations and practitioners need to consider should they want to explore increasing adoption or use of AI tools. In this study, we conducted a mixed methods study involving interviews with 26 industry practitioners and 395 survey respondents. We found that there are several motives and challenges that impact individuals and organizations and developed a theory of AI Tool Adoption. For example, we found creating a culture of sharing of AI best practices and tips as a key motive for practitioners' adopting and using AI tools. In total, we identified 2 individual motives, 4 individual challenges, 3 organizational motives, and 3 organizational challenges, and 3 interleaved relationships. The 3 interleaved relationships act in a push-pull manner where motives pull practitioners to increase the use of AI tools and challenges push practitioners away from using AI tools.

研究动机与目标

• 理解影响软件开发中个人与组织采纳AI工具的因素。
• 识别推动从业者和组织采纳Copilot、ChatGPT等AI工具的具体动机。
• 揭示阻碍AI工具在软件工程工作流中有效且安全使用的关键挑战。
• 构建一个实证理论，捕捉个人与组织因素之间的相互作用。
• 为组织提供基于证据的建议，通过培训、指南和文化变革提升AI工具采纳率。

提出的方法

• 对来自不同角色、组织和地理区域的26名软件从业者进行了半结构化访谈。
• 采用社会技术实证理论（STGT）方法，通过迭代编码、撰写备忘录和比较数据，直至达到理论饱和。
• 通过395名软件专业人员的调查验证理论类别与关系，以确保可靠性和可推广性。
• 使用Otter.ai进行访谈转录，使用SurveyMonkey进行数据收集，确保透明度与可复现性。
• 采用整体可靠性框架（可信度、可分析性、透明度、实用性）评估有效性，并减轻研究威胁。
• 发布可复现数据包，包含访谈问题、编码手册和调查工具，以支持透明度与可复现性。

实验结果

研究问题

• RQ1 什么个人与组织动机推动了软件开发中AI工具的采纳？
• RQ2 什么个人与组织挑战阻碍了AI工具在软件工程中的有效使用与采纳？
• RQ3 动机与挑战如何以推动-阻碍的动态关系影响AI工具的使用？
• RQ4 组织政策、培训与文化在塑造从业者采纳和使用AI工具方面发挥什么作用？

主要发现

• 从业者主要出于提升生产力的愿望以及在团队内分享最佳实践和技巧的机会而使用AI工具。
• 提供结构化AI培训和明确使用指南的组织，能显著提高从业者对AI工具的采纳率和使用信心。
• 主要的个人挑战包括缺乏培训、对提示有效性不确定、对代码质量的担忧，以及与数据泄露相关的隐私风险。
• 组织层面的挑战包括缺乏正式的AI政策、缺少伦理准则，以及缺乏支持安全AI使用的基础设施。
• 识别出三对推动-阻碍关系：(1) 提升生产力的动机 vs. 对代码质量问题的担忧，(2) 分享知识的愿望 vs. 对知识产权的顾虑，(3) 组织支持 vs. 治理缺失。
• 研究发现，395名调查受访者确认了理论类别，验证了所识别的动机与挑战具有代表性，能反映更广泛的从业者经验。