[論文レビュー] Sea Change in Software Development: Economic and Productivity Analysis of the AI-Powered Developer Lifecycle

Thomas Dohmke, Marco Iansiti+1 more|arXiv (Cornell University)|Jun 26, 2023

Open Source Software Innovations被引用数 11

ひとこと要約

この論文は GitHub Copilot の使用を 934,533 人のユーザーで分析し、提案の受け入れは約 30%、時間とともに増加し、経験の浅い開発者ほど利益が大きく、生成系 AI ツールによって 2030 年までに GDP が 1.5 兆ドル押し上げられる可能性を推定する。

ABSTRACT

This study examines the impact of GitHub Copilot on a large sample of Copilot users (n=934,533). The analysis shows that users on average accept nearly 30% of the suggested code, leading to increased productivity. Furthermore, our research demonstrates that the acceptance rate rises over time and is particularly high among less experienced developers, providing them with substantial benefits. Additionally, our estimations indicate that the adoption of generative AI productivity tools could potentially contribute to a $1.5 trillion increase in global GDP by 2030. Moreover, our investigation sheds light on the diverse contributors in the generative AI landscape, including major technology companies, startups, academia, and individual developers. The findings suggest that the driving force behind generative AI software innovation lies within the open-source ecosystem, particularly in the United States. Remarkably, a majority of repositories on GitHub are led by individual developers. As more developers embrace these tools and acquire proficiency in the art of prompting with generative AI, it becomes evident that this novel approach to software development has forged a unique inextricable link between humans and artificial intelligence. This symbiotic relationship has the potential to shape the construction of the world's software for future generations.

研究の動機と目的

• 大規模な GitHub データを用いて、AI 搭載のコーディングアシスタントの生産性への影響を評価する。
• Copilot の提案受容率とその時間的推移を定量化する。
• 生成系 AI の生産性ツール採用によるマクロ経済への影響を推定する。
• オープンソースAIソフトウェアにおけるエコシステムの貢献者と組織的ダイナミクスを特徴づける。

提案手法

• Copilot ユーザーの大規模サンプル (n=934,533) を分析し、提案コードの受容を測定する。
• 受容率を、ユーザーが採用した提案コードの比率として計算する。
• 受容の時間的推移と開発者経験による差異効果をモデル化する。
• 生成系 AI 生産性ツールの採用による2030年までのグローバル GDP 影響を推定する。
• 生成系AIの風景の構成とリポジトリのリーダーシップダイナミクスを説明する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー間での Copilot が提案したコードの平均受容率はどの程度か。
• RQ2 受容率は時間とともにどう変化し、開発者の経験によってどう異なるか。
• RQ3 2030年までに生成系 AI 生産性ツールを採用することによる潜在的なマクロ経済影響は何か。
• RQ4 生成系AIソフトウェアの景観における主要な貢献者は誰か（産業界、スタートアップ、アカデミア、個人）そして価値はどこで生み出されているか？

主な発見

• Copilot の提案受容の平均はほぼ30%である。
• 受容率は時間とともに増加し、経験の浅い開発者ほど高い。
• 生成系 AI 生産性ツールは2030年までに世界 GDP を最大で1.5兆ドル押し上げる可能性がある。
• オープンソースエコシステムは、特に米国において、生成系 AI ソフトウェアの革新を牽引している。
• ほとんどの GitHub リポジトリは個人開発者によって主導されている。