[論文レビュー] Some things never change: how far generative AI can really change software engineering practice

Aline de Campos, Jorge Melegati+4 more|arXiv (Cornell University)|Jun 14, 2024

Big Data and Business Intelligence被引用数 6

ひとこと要約

本論文はソフトウェアエンジニアを対象に、GenAIによって近い将来中期的に深く変わらないと考えられるSEの側面を特定し、それらの見解を既存のSEロードマップと比較する。生産性の向上が見込まれる一方で、人間主導のニーズと倫理的な懸念が持続する点を強調する。

ABSTRACT

Generative Artificial Intelligence (GenAI) has become an emerging technology with the availability of several tools that could impact Software Engineering (SE) activities. As any other disruptive technology, GenAI led to the speculation that its full potential can deeply change SE. However, an overfocus on improving activities for which GenAI is more suitable could negligent other relevant areas of the process. In this paper, we aim to explore which SE activities are not expected to be profoundly changed by GenAI. To achieve this goal, we performed a survey with SE practitioners to identify their expectations regarding GenAI in SE, including impacts, challenges, ethical issues, and aspects they do not expect to change. We compared our results with previous roadmaps proposed in SE literature. Our results show that although practitioners expect an increase in productivity, coding, and process quality, they envision that some aspects will not change, such as the need for human expertise, creativity, and project management. Our results point to SE areas for which GenAI is probably not so useful, and future research could tackle them to improve SE practice.

研究の動機と目的

• GenAIが短期/中期に深く変革されないと考えられるSEの活動を特定する。
• 実務家の期待を、以前の文献にあるSEのロードマップと比較する。
• 生産性や品質向上などの認識される利点と、持続する人間中心のニーズを強調する。
• GenAIのSE導入に影響を与える課題、倫理的配慮、組織要因を論じる。

提案手法

• 大手IT企業のSE専門家を対象に、構造化オンライン質問票を設計・実施する。
• 記述統計による定量データを分析し、定性的データは主題分析で分析する。
• 質問の明確さとバイアス最小化を確保するため、パイロット調査を実施する。
• 開放回答には演繹的ではなく帰納的（グラウンデッド・セオリー）コーディングを用いてテーマを識別する。
• 支持用の視覚資料とともに結果を提示し、コードとカテゴリを含む補足データパッケージ（Zenodo）を提供する。

実験結果

リサーチクエスチョン

• RQ1 GenAIにより短期から中期に深く変わらないと見込まれるSEの側面は何か？
• RQ2 実務家の期待は、GenAIの影響に関する以前提案されたSEロードマップとどう一致するか？
• RQ3 SEにおけるGenAI導入の主な認識される利点、課題、倫理的配慮は何か？
• RQ4 GenAIによる強化の影響を最も受けやすい・受けにくいと見なされるSEプロセスはどれか？

主な発見

• 実務家は生産性と品質の向上を期待するが、人間の専門性・創造性および特定の管理面の深い変化は見込んでいない。
• コーディングとユニットテストがGenAIポテンシャルで最も頻繁に特定されるプロセスであり、次いでアーキテクチャ、システム/テスト、保守が程度の差はあるが続く。
• 認識される影響にはアジリティ、分析/開発支援、プロセス品質の向上、さらには人間とAIの協働の拡大と新しい役割が含まれる。
• 主要な導入の課題は人間的・文化的問題、技術的懸念（特にデータセキュリティとモデルの透明性）、戦略的/管理上の配慮。
• 倫理的懸念はデータの完全性、プライバシー、バイアス、透明性、知的財産、責任追及、ガバナンスと人の監督の必要性を中心とする。