[논문 리뷰] The Impact of AI on Developer Productivity: Evidence from GitHub Copilot

Sida Peng, Eirini Kalliamvakou외 2명|arXiv (Cornell University)|2023. 02. 13.

Software Engineering Research인용 수 242

한 줄 요약

랜덤화된 대조 연구에서 GitHub Copilot이 자바스크립트 HTTP 서버 작업의 완료를 55.8% 가속시키며, 경험, 업무부하, 연령에 따라 이질적 효과가 나타난다.

ABSTRACT

Generative AI tools hold promise to increase human productivity. This paper presents results from a controlled experiment with GitHub Copilot, an AI pair programmer. Recruited software developers were asked to implement an HTTP server in JavaScript as quickly as possible. The treatment group, with access to the AI pair programmer, completed the task 55.8% faster than the control group. Observed heterogenous effects show promise for AI pair programmers to help people transition into software development careers.

연구 동기 및 목표

• AI 페어 프로그래머(GitHub Copilot)가 전문 소프트웨어 개발자에게 미치는 생산성 영향을 측정한다.
• Copilot의 작업 완료 시간과 성공에 대한 효과를 격리하기 위해 통제된 무작위 설계를 제공한다.
• 경험, 작업 부하, 연령, 소득, 교육 및 언어 선호도에 따른 처리 효과의 이질성을 탐구한다.
• 생산성 연구, 노동 시장 및 미래의 AI 보조 프로그래밍 연구에 대한 시사점을 논의한다.

제안 방법

• Upwork를 통해 모집된 95명의 전문 프로그래머를 대상으로 한 무작위 대조 연구.
• 처리 그룹은 GitHub Copilot 접근 및 1분 사용 브리핑을 받았고; 대조 그룹은 Copilot 접근이 없었다.
• 참가자들은 표준화된 작업을 완료했다: GitHub Classroom을 사용해 타이밍과 제출을 위한 JavaScript로 HTTP 서버를 구현.
• 성능 지표: 작업 성공 퍼센트와 작업 완료 시간(저장소 생성부터 12개 테스트를 모두 통과할 때까지).
• 호브-토프슨 변환 및 공변량 회귀를 통한 이질적 효과 분석.
• 사전 윤리 심의 승인 및 종료 설문을 통해 인지된 생산성 향상 및 지불 의향 대리지를 포착.

실험 결과

연구 질문

• RQ1 GitHub Copilot 접근이 표준화된 소프트웨어 개발 작업의 생산성을 높이는가?
• RQ2 시간 절약 및 작업 성공 측면에서 생산성 증가는 얼마나 크며 통계적으로 유의한가?
• RQ3 경험, 일일 코딩 시간, 연령, 소득, 교육, 언어 선호도와 같은 이질성 요인이 Copilot의 효과를 조정하는가?

주요 결과

• 처리 그룹 개발자는 대조군보다 55.8% 더 빠르게 작업을 완료했다(95% CI: 21%–89%; p = 0.0017).
• 작업 성공은 처리 그룹에서 7% 포인트 높았지만 통계적으로 유의하지 않았다(95% CI: -11%에서 25%).
• 이질성 분석에서 경험이 적은 개발자, 더 높은 일일 코딩 시간, 25–44세 연령대에서 더 큰 생산성 증가를 보였다.
• 종료 설문에서의 평균 자기 추정 생산성 증가는 양 그룹 모두 35%로, 관찰된 55.8% 이득보다 낮았다.
• 대조 그룹 참가자들은 1분 데모 후 Copilot이 상당한 속도 증가를 제공할 수 있다고 믿었으며, Copilot의 잠재력에 대한 인식을 시사한다.
• 지불 의향 대리치로서의 무관한 가격이 처리 그룹에서 더 높았고(평균 $27.25) 대조 그룹은 $16.91로, Copilot 사용자들 사이에 더 큰 가치 인식을 시사한다.