[論文レビュー] How much does AI impact development speed? An enterprise-based randomized controlled trial

Elise Paradis, Kate Grey+7 more|arXiv (Cornell University)|Oct 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

96名のグーグルソフトウェアエンジニアを対象とした企業ベースのランダム化比較試験では、AIコード補完、スマートペースト、自然言語からコード生成の3つのAIコーディング機能が開発速度に与える影響が評価された。研究では、AIが作業時間の推定で21%短縮されたことが判明したが、信頼区間は広く、経験豊富な開発者がAI支援によりより大きな利益を得ている顕著な相互作用効果が示された。

ABSTRACT

How much does AI assistance impact developer productivity? To date, the software engineering literature has provided a range of answers, targeting a diversity of outcomes: from perceived productivity to speed on task and developer throughput. Our randomized controlled trial with 96 full-time Google software engineers contributes to this literature by sharing an estimate of the impact of three AI features on the time developers spent on a complex, enterprise-grade task. We found that AI significantly shortened the time developers spent on task. Our best estimate of the size of this effect, controlling for factors known to influence developer time on task, stands at about 21\%, although our confidence interval is large. We also found an interesting effect whereby developers who spend more hours on code-related activities per day were faster with AI. Product and future research considerations are discussed. In particular, we invite further research that explores the impact of AI at the ecosystem level and across multiple suites of AI-enhanced tools, since we cannot assume that the effect size obtained in our lab study will necessarily apply more broadly, or that the effect of AI found using internal Google tooling in the summer of 2024 will translate across tools and over time.

研究の動機と目的

• AI強化開発ツールが複雑なエンタープライズグレードのソフトウェア開発作業に要する時間に与える影響を推定すること。
• 開発者レベルおよび作業レベルの特徴が、AIが開発速度に与える影響をどのように緩和するかを調査すること。
• AI使用パターンやユーザーの熟練度が、特に高精度で現実世界の開発環境において生産性向上に与える影響を探索すること。
• 開発者経験レベルやワークフローの文脈ごとの差異に着目し、製品設計および今後の研究に役立てるための知見を提供すること。
• 現有的な文献におけるギャップを埋めるために、現実の企業環境で実施された制御された大規模研究を用い、現実的なタスクとツールを対象とすること。

提案手法

• 96名の正社員グーグルソフトウェアエンジニアを対象にランダム化比較試験（RCT）を実施し、AI群またはコントロール群に無作為に割り当てた。
• 社内独自のツールを用いた：AIコード補完、スマートペースト、自然言語からコード生成。これらは開発者の通常のワークフローに統合された。
• 本番インフラで実装されたコード作成、ビルドファイルの更新、テストを含む複雑なエンタープライズグレードの開発作業の作業時間を測定した。
• t検定および線形回帰を用いて、開発者および作業レベルの共変量を調整した上で、AIが作業時間に与える主効果を評価した。
• 理論的枠組みに基づく多変量回帰を用い、妥当性および相互作用効果を検証した。
• 使用ログおよび自己報告データを分析し、AI使用頻度とパフォーマンスの関係を調査したが、統計的パワーが低いため限界があった。

Figure 1: AI Code Completion in Cider V. When a user starts typing code, the feature auto-completes the code block in light-grey font based on the context provided. After typing the first line of a new function to be evaluated at compile time, the user starts to type the return logic and the AI Code

実験結果

リサーチクエスチョン

• RQ1 RQ1: AIはエンタープライズグレードの開発作業に要する時間にどのような影響を与えるか？
• RQ2 RQ2: 開発者および作業の特徴は、AI支援が作業時間に与える影響の推定値にどのように影響するか？
• RQ3 RQ3: 開発者および作業の特徴がAI使用とどのように相互作用し、特定の開発者を加速または遅延させるか？
• RQ4 RQ4: AIツール使用頻度の増加は、作業中の速度向上と相関するか？
• RQ5 RQ5: 理論的期待とは対照的に、タスク分野や言語の熟練度がタスクスピードの有意な予測要因でなかったのはなぜか？

主な発見

• AIが開発速度に与える影響の最良推定値は、作業時間の21％短縮であったが、95％信頼区間は広かった。
• AI支援による利益が、1日あたりのコード関連作業時間が多い開発者ほど顕著であるという、統計的に有意な相互作用効果が確認された。
• AIツール使用頻度とタスクスピードとの間に統計的に有意な関係は認められず、ツールに到達限界効果または使いやすさの下限がある可能性を示唆した。
• 研究では、タスク分野の専門性やプログラミング言語のなじみが作業時間に有意な影響を与えないことが判明した。これは、サンプルの同質性が原因である可能性がある。
• AIツールには公平性の懸念が示唆された：上級開発者がより大きな利益を得ており、熟練の低下や高機能へのアクセス格差に関する懸念が生じた。
• 結果から、認知的負荷を増加させることなく、高能率な開発者を支援するための「エキスパートモード」や、AIツール間での知識移転を改善する必要があることが示唆された。

Figure 2: Smart Paste feature in Cider V. When a user pastes code, Smart Paste provides an automatic adjustment to the code, then shows the inline diff highlights the removal of tryfromenv (strikethrough) and the insertion of flagfile (italic and lower opacity). The user can accept the adjustment us