[論文レビュー] AI Tool Use and Adoption in Software Development by Individuals and Organizations: A Grounded Theory Study

Ze Shi Li, Nowshin Nawar Arony+3 more|arXiv (Cornell University)|Jun 25, 2024

Impact of AI and Big Data on Business and SocietyDecision Sciences被引用数 3

ひとこと要約

このグランド理論研究は、ソフトウェア開発におけるAIツールの導入に影響を与える個人的・組織的動機および課題を調査する。26件のインタビューと395名の実務者を対象としたアンケートを通じて、2つの個人的動機と3つの組織的動機、4つの個人的課題と3つの組織的課題、および導入を形作る3つのプッシュ・プル関係を同定した。本研究は、エンジニアリングチームにおけるAIツール統合の改善に向けた実践的知見を提供する。

ABSTRACT

AI assistance tools such as ChatGPT, Copilot, and Gemini have dramatically impacted the nature of software development in recent years. Numerous studies have studied the positive benefits that practitioners have achieved from using these tools in their work. While there is a growing body of knowledge regarding the usability aspects of leveraging AI tools, we still lack concrete details on the issues that organizations and practitioners need to consider should they want to explore increasing adoption or use of AI tools. In this study, we conducted a mixed methods study involving interviews with 26 industry practitioners and 395 survey respondents. We found that there are several motives and challenges that impact individuals and organizations and developed a theory of AI Tool Adoption. For example, we found creating a culture of sharing of AI best practices and tips as a key motive for practitioners' adopting and using AI tools. In total, we identified 2 individual motives, 4 individual challenges, 3 organizational motives, and 3 organizational challenges, and 3 interleaved relationships. The 3 interleaved relationships act in a push-pull manner where motives pull practitioners to increase the use of AI tools and challenges push practitioners away from using AI tools.

研究の動機と目的

• ソフトウェア開発におけるAIツールの個人的および組織的導入要因を理解すること。
• Copilot や ChatGPT などのAIツールの導入を駆り立てる具体的な動機を特定すること。
• ソフトウェアエンジニアリングワークフローにおけるAIツールの効果的かつ安全な使用を妨げる課題を解明すること。
• 個人的要因と組織的要因の相互作用を捉えたAIツール導入のグランド理論を構築すること。
• 訓練、ガイドライン、組織文化を通じてAIツール導入を改善するための証拠に基づく提言を提供すること。

提案手法

• 多様な役割、組織、地理的場所に属する26名のソフトウェア実務者を対象に、準構造的インタビューを実施した。
• 社会的技術的グランド理論（STGT）を用い、理論的飽和に達するまで反復的コード化、メモ作成、データ比較を実施した。
• 理論的カテゴリーと関係性の妥当性を確認するため、395名のソフトウェア専門家のアンケートを用いて検証した。これにより信頼性と一般化可能性を確保した。
• インタビューのトランスクリプト作成に Otter.ai を、データ収集に SurveyMonkey を使用し、透明性と再現可能性を確保した。
• 妥当性を評価し、研究の脅威を軽減するために、総合的信頼性フレームワーク（信頼性、分析可能性、透明性、有用性）を採用した。
• 再現可能性と透明性を支援するため、インタビュー質問、コードブック、アンケート用具を含むリプロダクションパッケージを公開した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発におけるAIツールの導入を駆り立てる個人的および組織的動機は何ですか？
• RQ2 ソフトウェア工学分野におけるAIツールの効果的かつ効率的な使用と導入を妨げる個人的および組織的課題は何ですか？
• RQ3 動機と課題は、AIツール利用に影響を与えるプッシュ・プルダイナミクスとしてどのように相互作用しますか？
• RQ4 組織方針、訓練、文化は、実務者のAIツール導入と使用にどのように影響を及えるのでしょうか？

主な発見

• 実務者は主に生産性の向上を図りたいという動機と、チーム内でのベストプラクティスやテクニック共有の機会を得たいという動機からAIツールを使用する傾向にある。
• 体系的なAI訓練と明確な使用ガイドラインを提供する組織は、実務者のAIツール導入とその使用に対する自信を顕著に高める。
• 主な個人的課題には、訓練不足、プロンプトの効果性に関する不確実性、コード品質に関する懸念、およびデータ漏洩に伴うプライバシーリスクが含まれる。
• 組織的課題には、公式なAI方針の不在、倫理的ガイドラインの欠如、および安全なAI利用を支えるインfraの不足が含まれる。
• 3つのプッシュ・プル関係が同定された：(1) 生産性向上の動機 vs. コード品質の懸念、(2) 知識共有の欲求 vs. 知的財産権の懸念、(3) 組織的支援 vs. 溝通の不在。
• 本研究では、395名のアンケート回答者が理論的カテゴリーを確認した結果、同定された動機と課題が広範な実務者経験を代表していることが検証された。