[論文レビュー] The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot

Doron Yeverechyahu, Raveesh Mayya+1 more|arXiv (Cornell University)|Sep 12, 2024

Open Source Software Innovations被引用数 7

ひとこと要約

本論文は GitHub Copilot の 2021 年のローンチをきっかけとした自然実験を用い、Copilot の利用可能性がオープンソースへの貢献を 28–40% 増加させることを示し、増分的な貢献が実質的な貢献よりも大きく増加する、そして文脈とモデルのアップグレードがコード協力における搾取と探索のバランスにどう影響するかを分析する。

ABSTRACT

Large Language Models (LLMs) have been shown to enhance individual productivity in guided settings. Whereas LLMs are likely to also transform innovation processes in a collaborative work setting, it is unclear what trajectory this transformation will follow. Innovation in these contexts encompasses both capability innovation that explores new possibilities by acquiring new competencies in a project and iterative innovation that exploits existing foundations by enhancing established competencies and improving project quality. Whether LLMs affect these two aspects of collaborative work and to what extent is an open empirical question. Open-source development provides an ideal setting to examine LLM impacts on these innovation types, as its voluntary and open/collaborative nature of contributions provides the greatest opportunity for technological augmentation. We focus on open-source projects on GitHub by leveraging a natural experiment around the selective rollout of GitHub Copilot (a programming-focused LLM) in October 2021, where GitHub Copilot selectively supported programming languages like Python or Rust, but not R or Haskell. We observe a significant jump in overall contributions, suggesting that LLMs effectively augment collaborative innovation in an unguided setting. Interestingly, Copilot's launch increased iterative innovation focused on maintenance-related or feature-refining contributions significantly more than it did capability innovation through code-development or feature-introducing commits. This disparity was more pronounced after the model upgrade in June 2022 and was evident in active projects with extensive coding activity, suggesting that as both LLM capabilities and/or available contextual information improve, the gap between capability and iterative innovation may widen. We discuss practical and policy implications to incentivize high-value innovative solutions.

研究の動機と目的

• 大規模言語モデルが組織設定と比較して自発的かつ自律的なオープンソース協力に与える影響を動機づける。
• 有意義な貢献（新機能）と増分的貢献（維持/改善）という認知的要求の観点から貢献タイプを区別する。
• Copilot の利用可能性の因果影響を、準実験デザインと複数の識別戦略を用いて特定する。

提案手法

• Copilot の 2021 年のローンチから自然実験を活用し、恣意的でない分割を作成（Python がビジネス上の理由でサポートされているかどうか、R がサポートされていないか）
• 因果効果を推定するための3つの補完的識別戦略を適用
• 二つの分類アプローチを用いて貢献を substantival（実質的）と incremental（増分的）に分類
• 仕様ごとに全体の貢献と各貢献タイプの増加率を推定

実験結果

リサーチクエスチョン

• RQ1 Copilot の利用可能性は GitHub 上のオープンソースへの貢献を因果的に増加させるか？
• RQ2 Incremental contributions は Copilot によって substantive contributions よりも影響を受けるか？
• RQ3 活動レベルとモデルのアップグレードは、既存コードベースの活用と新機能の探索のバランスをどのように調整するか？

主な発見

• Copilot の利用可能性はオープンソースへの貢献を 28–40% 増加させる。
• Incremental contributions は仕様ごとに substantive contributions よりも大きく増加する。
• 活発度が高いプロジェクトでの増幅効果は大きく、モデルのアップグレード後にはさらに拡大する。
• LLMs は新機能の探索よりも既存コードベースの活用を促進する協調的イノベーションへと傾斜させる。
• 本研究は急速に動く知識経済における LLM 効果に関する因果的フィールド証拠を提供する。