[论文解读] Is AI the better programming partner? Human-Human Pair Programming vs. Human-AI pAIr Programming

Qianou, Tongshuang Wu+1 more|arXiv (Cornell University)|Jun 8, 2023

Software Engineering Techniques and Practices被引用 11

一句话总结

本文比较人类-人类对练编程与人类-AI pAIr 编程，回顾情境、衡量指标、调节变量与未来研究方向，并强调 pAIr 研究中的混合结果和测量差距。

ABSTRACT

The emergence of large-language models (LLMs) that excel at code generation and commercial products such as GitHub's Copilot has sparked interest in human-AI pair programming (referred to as "pAIr programming") where an AI system collaborates with a human programmer. While traditional pair programming between humans has been extensively studied, it remains uncertain whether its findings can be applied to human-AI pair programming. We compare human-human and human-AI pair programming, exploring their similarities and differences in interaction, measures, benefits, and challenges. We find that the effectiveness of both approaches is mixed in the literature (though the measures used for pAIr programming are not as comprehensive). We summarize moderating factors on the success of human-human pair programming, which provides opportunities for pAIr programming research. For example, mismatched expertise makes pair programming less productive, therefore well-designed AI programming assistants may adapt to differences in expertise levels.

研究动机与目标

• 评估人类-人类对练编程与人类-AI pAIr 编程在交互、衡量指标、收益与挑战方面的差异。
• 识别影响人类-人类对练编程成功的调节因素，并探讨它们在 pAIr 编程中的相关性。
• 总结这两种范式在质量、生产力、满意度、学习和成本方面的现有证据。
• 讨论设计含义及改进 AI 编程助手作为合作伙伴的机会。

提出的方法

• 回顾并综合现有关于人类-人类对练编程和人类-AI pAIr 编程的文献。
• 在不同范式中比较结果变量（质量、生产力、满意度、学习、成本）。
• 从人类-人类研究中识别调节因素（任务类型、兼容性、沟通、协作、后勤）并映射到 pAIr 情境。
• 讨论 AI 作为对练编程伙伴的理论与实用影响以及未来研究方向。

实验结果

研究问题

• RQ1 在人机互动和结果方面，人类-人类与人类-AI pAIr 编程存在哪些相似之处和差异？
• RQ2 哪些已知会影响人类-人类对练编程的调节因素可以为人类-AI pAIr 编程的设计与评估提供借鉴？
• RQ3 pAIr 编程衡量的当前局限性有哪些，如何扩展？
• RQ4 如何设计 AI 编程助手以适应不同的专业水平和沟通风格？
• RQ5 在人类-AI pAIr 编程中，哪种部署情境（行业 vs. 教育）最为合适？

主要发现

• 人类-人类对练编程与人类-AI pAIr 编程在质量、生产力、满意度、学习和成本方面均呈现混合结果。
• 相较于人类-人类对练编程，pAIr 编程目前缺乏全面、经验证的衡量框架。
• 调节因素如任务复杂性、兼容性、沟通、协作和后勤等影响人类-人类对练编程，并为 pAIr 改进提供机会。
• 可以设计 AI 伙伴以适应不同的专业水平和沟通风格以提升有效性。
• 建议将三方比较（人类-人类、人类-AI、人类-独立工作）作为有价值的未来研究设计。
• 关于 AI 辅助编码是否应被视为真正的对练编程还是一种新的编程范式，仍存在持续的争议。