[논문 리뷰] Sea Change in Software Development: Economic and Productivity Analysis of the AI-Powered Developer Lifecycle

Thomas Dohmke, Marco Iansiti외 1명|arXiv (Cornell University)|2023. 06. 26.

Open Source Software Innovations인용 수 11

한 줄 요약

이 논문은 934,533명의 GitHub Copilot 사용자를 분석하여 제안 수락 비율이 약 30%로 나타나고 시간이 지남에 따라 증가하며, 경험이 적은 개발자에서 더 큰 이익을 보이고, 생성 AI 도구에 의해 2030년까지 잠재적으로 1.5조 달러의 GDP 상승을 촉발할 수 있음을 추정합니다.

ABSTRACT

This study examines the impact of GitHub Copilot on a large sample of Copilot users (n=934,533). The analysis shows that users on average accept nearly 30% of the suggested code, leading to increased productivity. Furthermore, our research demonstrates that the acceptance rate rises over time and is particularly high among less experienced developers, providing them with substantial benefits. Additionally, our estimations indicate that the adoption of generative AI productivity tools could potentially contribute to a $1.5 trillion increase in global GDP by 2030. Moreover, our investigation sheds light on the diverse contributors in the generative AI landscape, including major technology companies, startups, academia, and individual developers. The findings suggest that the driving force behind generative AI software innovation lies within the open-source ecosystem, particularly in the United States. Remarkably, a majority of repositories on GitHub are led by individual developers. As more developers embrace these tools and acquire proficiency in the art of prompting with generative AI, it becomes evident that this novel approach to software development has forged a unique inextricable link between humans and artificial intelligence. This symbiotic relationship has the potential to shape the construction of the world's software for future generations.

연구 동기 및 목표

• 대규모 GitHub 데이터를 사용하여 AI 기반 코딩 보조 도구의 생산성 영향 평가.
• Copilot 제안 수락률과 시간에 따른 변화 양상 정량화.
• 생성형 AI 생산성 도구 채택의 거시경제적 함의 추정.
• 오픈 소스 AI 소프트웨어 생태계의 기여자 및 조직 역학 특성화.

제안 방법

• Copilot 사용자의 대규모 샘플(n=934,533)을 분석하여 제안된 코드의 수락 여부를 측정.
• 수락률을 사용자에 의해 채택된 제안된 코드의 비율로 계산.
• 수락의 시간적 추세와 개발자 경험에 따른 차등 효과를 모델링.
• 생성형 AI 생산성 도구의 채택으로 인한 2030년까지의 글로벌 GDP 영향 추정.
• 생성형 AI 생태계 구성과 저장소 리더십 역학을 설명.

실험 결과

연구 질문

• RQ1 사용자들 사이에서 Copilot가 제안한 코드의 평균 수락률은 얼마인가?
• RQ2 수락률은 시간에 따라 어떻게 변화하며 개발자 경험에 따라 어떤 차이가 있는가?
• RQ3 2030년까지 생성형 AI 생산성 도구 채택의 잠재적 거시경제적 영향은 무엇인가?
• RQ4 생성형 AI 소프트웨어 생태계의 주요 기여자는 누구이며(산업계, 스타트업, 학계, 개인), 가치는 어디에서 창출되는가?

주요 결과

• 평균 Copilot 제안 수락은 거의 30%에 이른다.
• 수락률은 시간에 따라 증가하고 덜 숙련된 개발자일수록 더 높다.
• 생성형 AI 생산성 도구가 2030년까지 글로벌 GDP를 잠재적으로 1.5조 달러 증가시킬 수 있다.
• 오픈 소스 생태계는 특히 미국에서 생성형 AI 소프트웨어 혁신을 주도한다.
• 대부분의 GitHub 저장소는 개인 개발자가 이끈다.