[논문 리뷰] Authoring Programming Exercises for Automated Assessment Assisted by Generative AI

Erik Brynjolfsson, Danielle Li외 1명|arXiv (Cornell University)|2023. 04. 23.

Digital Economy and Work Transformation인용 수 13

한 줄 요약

이 연구는 재택 고객 지원 환경에서 대규모로 배포된 생성형 AI 챗봇 보조자에 대해 평가하며, 평균적으로 작업자 생산성을 15% 향상시키고, 경력이 짧고 숙련도가 낮은 에이전트의 경우 더 큰 성과 향상을 보인다. AI는 속도, 품질 및 학습 능력을 향상시키며, 특히 신규 에이전트의 경우 두드러진 효과를 보이며, 고객 만족도를 높이고 이직률을 감소시킨다.

ABSTRACT

Generative AI presents both challenges and opportunities for educators. This paper explores its potential for automating the creation of programming exercises designed for automated assessment. Traditionally, creating these exercises is a time-intensive and error-prone task that involves developing exercise statements, solutions, and test cases. This ongoing research analyzes the capabilities of the OpenAI GPT API to automatically create these components. An experiment using the OpenAI GPT API to automatically create 120 programming exercises produced interesting results, such as the difficulties encountered in generating valid JSON formats and creating matching test cases for solution code. Learning from this experiment, an enhanced feature was developed to assist teachers in creating programming exercises and was integrated into Agni, a virtual learning environment (VLE). Despite the challenges in generating entirely correct programming exercises, this approach shows potential for reducing the time required to create exercises, thus significantly aiding teachers. The evaluation of this approach, comparing the efficiency and usefulness of using the OpenAI GPT API or authoring the exercises oneself, is in progress.

연구 동기 및 목표

• 대규모 고객 서비스 환경에서 생성형 AI가 작업자 생산성에 미치는 실제 영향을 평가하기 위해.
• 다양한 경력 및 숙련도 수준의 작업자에게 AI 보조가 미치는 영향을 분석하기 위해.
• AI 도입이 작업자의 학습을 촉진하고 고객 만족도 및 이직률과 같은 직무 경험 지표를 향상시키는지 조사하기 위해.
• 생산성 향상의 메커니즘을 탐색하기 위해, AI 권고 이행 및 지속적인 학습 효과를 포함하여.
• 조직 설계, 작업자 보상 및 노동시장 균형에 대한 AI 사용의 장기적 영향을 평가하기 위해.

제안 방법

• 재택 고객 지원 에이전트 5,172명에 대해 GPT 기반 대화형 AI 보조자를 단계적으로 도입하였다.
• 고정 효과를 포함한 패널 데이터를 사용하여 생산성, 품질 및 이직률에 대한 인과적 영향을 추정하였으며, 시간, 위치 및 에이전트별 고정 요인을 통제하였다.
• 생산성은 시간당 처리한 이슈 수로 측정하였으며, 처리 시간, 다중 작업 능력 및 해결률으로 분해하였다.
• AI 사용이 불가능한 장애 기간을 분석하여, AI 의존성 외부의 지속적인 학습 효과를 분리하여 분석하였다.
• AI 권고 이행도를 추적하고, 특히 시간이 지남에 따라 생산성 향상과의 상관관계를 분석하였다.
• 이직 데이터를 활용하여 동일한 경력 기간을 가진 처리군과 대조군 간의 장기적 직무 경험을 평가하였다.

실험 결과

연구 질문

• RQ1 실제 고객 지원 환경에서 생성형 AI는 작업자 생산성에 어떤 영향을 미치는가?
• RQ2 다양한 경력 및 숙련도 수준의 작업자 간에 AI로 인한 생산성 향상은 어떻게 달라지는가?
• RQ3 AI 권고가 지속적인 학습 효과를 유도하는 데 얼마나 기여하는가? 이는 지속적인 AI 지원 없이도 가능한가?
• RQ4 AI 도입은 고객 만족도 및 작업자 이직률에 어떤 영향을 미치는가?
• RQ5 AI 사용은 작업자 보상, 조직 설계 및 노동시장 균형에 어떤 영향을 미치는가?

주요 결과

• AI 보조는 평균적으로 시간당 처리 이슈 수로 측정한 작업자 생산성을 15% 향상시켰다.
• 경력이 짧고 숙련도가 낮은 에이전트는 시간당 처리 이슈 수가 30% 증가하여 더 경력이 많은 동료들과의 성과 격차를 줄였다.
• 경력이 많고 숙련도가 높은 에이전트는 속도 향상이 미미했으며, 대화 품질은 약간 하락하였다.
• AI 장애 기간 동안도 생산성 향상 효과가 유지되었으며, 특히 이전에 AI 권고를 잘 따르던 에이전트에서 두드러졌다.
• 6개월 미만 경력의 에이전트에서 AI 도입으로 이직률이 10%p 감소하였으며, 이는 기준 수준 대비 40% 감소에 해당한다.
• AI 보조는 고객 만족도를 향상시켰으며, 고객이 관리자와 대화를 요청하거나 무례한 반응을 보일 가능성이 낮아졌다.