[논문 리뷰] Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

Julia Becker, Nate Rush외 2명|ArXiv.org|2025. 07. 12.

Big Data and Business Intelligence인용 수 4

한 줄 요약

경험 많은 오픈 소스 개발자 16명이 246개의 실제 작업을 완료한 무작위 대조 연구(RCT)는 AI 도구 사용이 완료 시간을 평균 19% 느리게 만듦을 보여주며, 예상 속도 향과는 반대이다.

ABSTRACT

Despite widespread adoption, the impact of AI tools on software development in the wild remains understudied. We conduct a randomized controlled trial (RCT) to understand how AI tools at the February-June 2025 frontier affect the productivity of experienced open-source developers. 16 developers with moderate AI experience complete 246 tasks in mature projects on which they have an average of 5 years of prior experience. Each task is randomly assigned to allow or disallow usage of early 2025 AI tools. When AI tools are allowed, developers primarily use Cursor Pro, a popular code editor, and Claude 3.5/3.7 Sonnet. Before starting tasks, developers forecast that allowing AI will reduce completion time by 24%. After completing the study, developers estimate that allowing AI reduced completion time by 20%. Surprisingly, we find that allowing AI actually increases completion time by 19%--AI tooling slowed developers down. This slowdown also contradicts predictions from experts in economics (39% shorter) and ML (38% shorter). To understand this result, we collect and evaluate evidence for 20 properties of our setting that a priori could contribute to the observed slowdown effect--for example, the size and quality standards of projects, or prior developer experience with AI tooling. Although the influence of experimental artifacts cannot be entirely ruled out, the robustness of the slowdown effect across our analyses suggests it is unlikely to primarily be a function of our experimental design.

연구 동기 및 목표

• 경험 많은 오픈 소스 개발자에 대한 초기-2025년 AI 도구의 실제 생산성 영향 평가.
• 고정된 결과 척도를 사용하여 AI 허용 여부에 따른 작업 완료 시간 측정.
• AI 도구 사용이 작업 속도를 느리게 한 이유를 조사하고 작용 요인을 설정 환경에서 확인.

제안 방법

• 성숙한 오픈 소스 리포지토리에서 246개의 실제 이슈를 수행하는 16명의 개발자를 대상으로 한 무작위 대조 시험.
• 무작위 배정 전에 이슈를 정의하고 AI-허용 또는 AI-비허용 조건에 배정.
• 개발자들은 Cursor Pro 및 Claude 3.5/3.7 Sonnet를 사용했고, 결과는 총 구현 시간에 기반한다.
• 이슈 난이도 및 AI 영향에 대한 예측은 작업 전후로 수집되었다.
• 화면 녹화, 리포지토리 분석, 인터뷰, 설문조사 등 방대한 데이터 소스를 활용했다.
• 총 구현 시간의 백분율 변화를 추정하기 위해 회귀 분석(log-linear)을 사용했다(S).

실험 결과

연구 질문

• RQ1 경험 많은 개발자들에게 초기-2025년 AI 도구의 사용 허용이 실제 세계 이슈를 완수하는 전체 시간에 어떤 영향을 미치는가?
• RQ2 개발자 및 전문가의 AI 영향 기대치가 관찰된 결과와 어떻게 비교되는가?
• RQ3 AI 허용 시 관찰된 속도 저하에 어떤 설정 요인이 기여하는가?

주요 결과

• AI-허용 이슈는 AI-비허용 이슈보다 완료 시간이 평균 19% 더 오래 걸렸다.
• 개발자들은 AI가 시간을 24% 단축할 것이라고 예측했지만, 연구 이후에는 관찰된 속도 저하 대비 20%의 가속으로 추정했다.
• 전문가(Ml 및 경제학자들)는 관찰된 것보다 훨씬 큰 속도 향을 예측했다(각각 39% 및 38%).
• 다수의 분석에서 저하가 견고하게 나타났으며, 21개의 후보 요인 중 요인 간 강도는 다르게 나타났다.
• 저하에 기여하는 요인이 5개로 보이며, 10개 요인에 대해서는 혼재되거나 불확실한 증거, 6개 요인에 대해서는 반증 증거가 있다.