[论文解读] Authoring Programming Exercises for Automated Assessment Assisted by Generative AI

Erik Brynjolfsson, Danielle Li+1 more|arXiv (Cornell University)|Apr 23, 2023

Digital Economy and Work Transformation被引用 13

一句话总结

本研究评估了一项在大规模客户支持环境中部署的生成式AI聊天助手，结果显示其平均使员工生产力提升15%，且对经验较少和技能较低的员工提升效果更显著。AI提升了处理速度、工作质量与学习效率，尤其对新手效果明显，同时改善了客户情绪并降低了人员流失率。

ABSTRACT

Generative AI presents both challenges and opportunities for educators. This paper explores its potential for automating the creation of programming exercises designed for automated assessment. Traditionally, creating these exercises is a time-intensive and error-prone task that involves developing exercise statements, solutions, and test cases. This ongoing research analyzes the capabilities of the OpenAI GPT API to automatically create these components. An experiment using the OpenAI GPT API to automatically create 120 programming exercises produced interesting results, such as the difficulties encountered in generating valid JSON formats and creating matching test cases for solution code. Learning from this experiment, an enhanced feature was developed to assist teachers in creating programming exercises and was integrated into Agni, a virtual learning environment (VLE). Despite the challenges in generating entirely correct programming exercises, this approach shows potential for reducing the time required to create exercises, thus significantly aiding teachers. The evaluation of this approach, comparing the efficiency and usefulness of using the OpenAI GPT API or authoring the exercises oneself, is in progress.

研究动机与目标

• 评估生成式AI在大规模客户服务平台中对员工生产力的真实影响。
• 考察AI辅助对不同经验与技能水平员工的影响。
• 探究AI采用是否促进员工学习，并改善客户情绪与人员流失等员工体验指标。
• 探索生产力提升的机制，包括对AI建议的遵循程度及持久学习效应。
• 评估AI使用对组织设计、员工薪酬及劳动力市场均衡的长期影响。

提出的方法

• 在一家财富500强企业中，对5,172名客户支持员工分阶段部署基于GPT的对话式AI助手。
• 使用面板数据与固定效应模型，控制时间、地点与个体员工效应，估计对生产力、质量与人员流失的因果影响。
• 将生产力定义为每小时解决的问题数，进一步分解为处理时间、多任务处理能力与解决率。
• 通过AI不可用的中断期分析，分离出持久学习效应与对AI的依赖性。
• 追踪对AI建议的遵循情况，并分析其与生产力提升（尤其是随时间推移）的相关性。
• 利用人员流失数据评估长期员工体验，比较接受处理与未接受处理的员工（相同工龄）的差异。

实验结果

研究问题

• RQ1 生成式AI在真实客户支持环境中的员工生产力有何影响？
• RQ2 AI带来的生产力提升在不同经验与技能水平的员工中如何变化？
• RQ3 AI建议在多大程度上促成了持久学习，且独立于持续的AI支持？
• RQ4 AI采用如何影响客户情绪与员工流失率？
• RQ5 AI使用对员工薪酬、组织设计及劳动力市场均衡有何影响？

主要发现

• AI辅助使员工生产力平均提升15%，以每小时解决的问题数衡量。
• 经验较少与技能较低的员工每小时解决的问题数提升了30%，缩小了与经验更丰富员工的绩效差距。
• 经验更丰富与技能更高的员工在速度方面提升微乎其微，且对话质量略有下降。
• 在AI中断期间，生产力提升依然持续，尤其体现在曾密切遵循AI建议的员工中。
• AI采用使任职不足六个月的员工流失率降低10个百分点——相当于基线水平的40%降幅。
• AI辅助改善了客户情绪，客户更少要求与经理通话，且更可能表现出礼貌。