[論文レビュー] The Role of Generative AI in Software Development Productivity: A Pilot Case Study

Mariana Coutinho, Lorena Marques+4 more|arXiv (Cornell University)|Jun 1, 2024

Big Data and Business Intelligence被引用数 6

ひとこと要約

パイロットケーススタディは、生成系AIツールが役割を横断するソフトウェア開発の生産性に与える影響を調査し、信頼性とセキュリティの課題を伴いながら、一般的には前向きな認識の向上を発見した。

ABSTRACT

With software development increasingly reliant on innovative technologies, there is a growing interest in exploring the potential of generative AI tools to streamline processes and enhance productivity. In this scenario, this paper investigates the integration of generative AI tools within software development, focusing on understanding their uses, benefits, and challenges to software professionals, in particular, looking at aspects of productivity. Through a pilot case study involving software practitioners working in different roles, we gathered valuable experiences on the integration of generative AI tools into their daily work routines. Our findings reveal a generally positive perception of these tools in individual productivity while also highlighting the need to address identified limitations. Overall, our research sets the stage for further exploration into the evolving landscape of software development practices with the integration of generative AI tools.

研究の動機と目的

• ソフトウェア開発における生産性を多面的な構成概念として理解する動機付け。
• 産業環境における実世界のソフトウェアプロジェクトへ生成系AIツールを統合する方法を探る。
• コーディング、設計、データサイエンス、関連活動に携わる専門家にとっての生成系AIの用途・利点・課題を特定する。
• AI支援ソフトウェア開発のより広範で長期的な調査を導くための予備的洞察を提供する。

提案手法

• 多様なチームを抱える大規模なソフトウェア企業で実施されたケーススタディ。
• 自由回答を含む質問票とコミュニケーションチャネル（例: Slack）からの観察を通じてデータを収集した。
• このパイロットは、ChatGPT、OpenAI API、Midjourney、GitHub Copilot などのツールを用い、4 週間にわたって14人のボランティア（13名が完了）を対象とした。
• 使いやすさ、生産性、利点、課題に関連するパターンを特定するため、行単位のコーディングとテーマ分析を用いた質的データ分析。

実験結果

リサーチクエスチョン

• RQ1 生成系AIツールの統合は、異なる役割や活動を横断するソフトウェア専門家の仕事にどのような影響を与えるのか？
• RQ2 これらのツールが生産性、時間効率、付加価値の創出を含むと想定される影響は何か？
• RQ3 ソフトウェア開発における生成系AIの導入時に、ユーザーはどのような利点と課題を報告しているか？
• RQ4 信頼性、プロンプトの正確さ、情報源、セキュリティなどの問題がAI支援作業にどう影響するか？

主な発見

• 生成系AIツールは、アーティファクトの生成/レビュー、アイデア創出の支援、コード構築の疑問解消、公式文書作成の支援に使われる。
• 参加者は、時間の最適化と多用途性をAIツールの主要な利点として報告する。
• 信頼性、プロンプトの正確さ、情報源の欠如、セキュリティ上の懸念が主な課題である。
• 大多数の参加者は、生産性に対してポジティブな影響を感じており、より迅速なコンテンツ作成と知識習得によって支援されているが、出力物は手動での精錬を要することが多い。
• ツールは複数のタスクを単一のワークフローに統合できるため、限界はあるものの効率と学習に寄与する。