[論文レビュー] Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

Julia Becker, Nate Rush+2 more|ArXiv.org|Jul 12, 2025

Big Data and Business Intelligence被引用数 4

ひとこと要約

16人の経験豊富なオープンソース開発者を対象とした255件の実世界タスクを含むRCTは、AIツールの利用が完了時間を19%遅くすることを示し、期待されるスピードアップとは反対である。

ABSTRACT

Despite widespread adoption, the impact of AI tools on software development in the wild remains understudied. We conduct a randomized controlled trial (RCT) to understand how AI tools at the February-June 2025 frontier affect the productivity of experienced open-source developers. 16 developers with moderate AI experience complete 246 tasks in mature projects on which they have an average of 5 years of prior experience. Each task is randomly assigned to allow or disallow usage of early 2025 AI tools. When AI tools are allowed, developers primarily use Cursor Pro, a popular code editor, and Claude 3.5/3.7 Sonnet. Before starting tasks, developers forecast that allowing AI will reduce completion time by 24%. After completing the study, developers estimate that allowing AI reduced completion time by 20%. Surprisingly, we find that allowing AI actually increases completion time by 19%--AI tooling slowed developers down. This slowdown also contradicts predictions from experts in economics (39% shorter) and ML (38% shorter). To understand this result, we collect and evaluate evidence for 20 properties of our setting that a priori could contribute to the observed slowdown effect--for example, the size and quality standards of projects, or prior developer experience with AI tooling. Although the influence of experimental artifacts cannot be entirely ruled out, the robustness of the slowdown effect across our analyses suggests it is unlikely to primarily be a function of our experimental design.

研究の動機と目的

• Early-2025年AIツールが経験豊富なオープンソース開発者の実世界での生産性に与える影響を評価する。
• AI使用可否を固定アウトカム指標で測定し、タスク完了時間を比較する。
• AIツールが作業を遅くした理由を調査し、寄与要因となる設定要因を特定する。

提案手法

• 成熟したオープンソースリポジトリ上で246の実問題を実施する16名の開発者を対象としたランダム化比較試験。
• 問題はランダム化前に定義され、AI使用可/不可条件に割り当てられた。
• 開発者はCursor ProとClaude 3.5/3.7 Sonnetを使用；アウトカムは総実装時間に基づく。
• 問題の難易度予測とAI影響の予測は、タスクの前後に収集。
• 画面録画、リポジトリアナリティクス、インタビュー、調査などの豊富なデータソース。
• 総実装時間の％変化を推定するための回帰分析（対数線形）を用いたS。

実験結果

リサーチクエスチョン

• RQ1 Early-2025年AIツールの利用が経験豊富な開発者の実世界のリアルタイム問題完了までの総時間に与える影響は何か。
• RQ2 開発者と専門家のAI影響に関する期待と観察結果はどのように比較されるか。
• RQ3 AI利用時に観察される遅さに寄与する設定要因は何か。

主な発見

• AI使用可のタスクは、AI使用不可のタスクより平均して19%長く完了した。
• 開発者はAIが時間を24%短縮すると予測していたが、研究後には観察された遅延に対して20%のスピードアップを推定。
• 専門家（MLと経済学）は、観察結果よりもはるかに大きなスピードアップ（それぞれ39%と38%）を予測。
• 遅延は複数の分析で頑健に見られ、設定された21の候補要因の間で要因の強さは異なる。
• 遅延に寄与する5つの要因が存在するという証拠があり、10の要因は混合/不確かな証拠、6の要因には反証証拠がある。