[論文レビュー] Study of software developers' experience using the Github Copilot Tool in the software development process

Mateusz Jaworski, Dariusz Piotrkowski|arXiv (Cornell University)|Jan 12, 2023

Software Engineering Research被引用数 4

ひとこと要約

本研究は、42名のソフトウェア開発者を対象としたアンケートを通じて、AI駆動型コード生成ツールであるGitHub Copilotの開発者による体験を調査した。開発の高速化の潜在的可能性については肯定的な評価がなされたが、実際の使用率は14.3％にとどまり、主にデータセキュリティ、著作権、コード品質に関する懸念が理由であった。公式な保証後でも、依然として強い懸念が残っていることが明らかになった。

ABSTRACT

In software development there is a constant pressure to produce code faster and faster without compromising on quality. New tools supporting developers are created in response to this demand. Currently a new generation of such solutions is about to be launched - Artificial Intelligence driven tools. On 29 June 2021 Github Copilot was announced. It uses trained model to generate code based on human understandable language. The focus of this research was to investigate software developers' approach to this tool. For this purpose a survey containing 18 questions was prepared and shared with programmers. A total of 42 answers were gathered. The results of the research indicate that developers' opinions are divided. Most of them met Github Copilot before attending the survey. The attitude to the tool was mostly positive but not many participants were willing to use it. Concerns are caused by security issues associated with using of Github Copilot.

研究の動機と目的

• ソフトウェア開発者が日常の開発ワークフローにおいてGitHub Copilotに対して抱く経験や態度を理解すること。
• 開発者がGitHub Copilotのソフトウェアエンジニアリングにおける生産性への影響および将来の雇用機会への影響をどのように評価しているかを評価すること。
• AI生成コードに関連するセキュリティ、データ漏洩、コード品質に関する懸念を調査すること。
• 異なる開発者エリートレベルおよび専門分野（例：フロントエンド、バックエンド、フルスタック）におけるツールの有用性の認識を評価すること。

提案手法

• 経験豊富なソフトウェア開発者が設計した18の質問からなるオンラインアンケートを作成し、明確さと関連性についてレビューした。
• アンケートは、開発者によるGitHub Copilotの事前接触歴、使用パターン、認識される利点、懸念事項に関するデータ収集を目的としていた。
• 開発者のプロファイル（経験年数、専門分野）に応じた度数分布とクロス集計を用いて、定量的分析を実施した。
• オープンエンドの回答はテーマ分析を用いて、ツールの有用性、制限、倫理的懸念に関する微細な意見を抽出した。
• 本研究は、自らの経験と態度を自己申告する形で集約しており、特にセキュリティと信頼性の問題に重点を置いた。
• 研究結果は、プログラミングにおけるAIの既存の文献および遺伝的プログラミングやコード補完システムといった先行ツールと照らして文脈づけられた。

Figure 1: Hearing about GitHub Copilot

実験結果

リサーチクエスチョン

• RQ1 ソフトウェア開発者はGitHub Copilotに対してどの程度熟知しており、実際にどの程度使用しているか？
• RQ2 開発者がGitHub Copilotをその開発プロセスに採用する主な動機または障壁は何であるか？
• RQ3 開発者は、特に経験年数の異なる層において、GitHub Copilotがソフトウェア開発の生産性および将来の雇用に与える影響をどのように認識しているか？
• RQ4 AI生成の提案に関するデータ漏洩およびコード品質に関する主なセキュリティ的・倫理的懸念は何か？
• RQ5 異なるプログラミング専門分野（例：フロントエンド、バックエンド、フルスタック）において、GitHub Copilotに対する認識はどのように異なるか？

主な発見

• 調査対象の85.7％はGitHub Copilotを使用したことがなく、そのうち66.7％はアンケート以前にその存在を知っていた。
• 回答者の14.3％しか実際にツールを使用しておらず、主にテスト、学習、オープンソース貢献といった非商業的用途で使用されていた。
• 85.7％の開発者が、ツールについて学んだ後はテストに興味を示したが、実際に使用したいと感じたのは38.1％にとどまり、認識された価値と実際の採用の間には大きなギャップがあることが示された。
• 31％の開発者がプロジェクトからのデータ漏洩を懸念しており、16.7％は不確実であり、わずか13％しか不安を感じないとしなかった。これは、依然として信頼性の問題が根強いことを示している。
• 半数の開発者（50％）がGitHub Copilotが自身の雇用に影響を与えないと考えていたが、若手開発者では雇用の減少を懸念する傾向が強く、職を奪われる可能性への懸念が示された。
• 公式な保証にもかかわらず、40％の開発者がデータセキュリティに懐疑的であり、セキュリティと著作権の問題が採用の主な障壁であった。

Figure 2: Usage of GitHub Copilot among the respondents