[論文レビュー] A Large-Scale Survey on the Usability of AI Programming Assistants: Successes and Challenges

Jenny T. Liang, Chenyang Yang+1 more|arXiv (Cornell University)|Mar 30, 2023

Software Engineering Research被引用数 13

ひとこと要約

410人の開発者を対象にした大規模調査は、彼らがAIプログラミングアシスタントをなぜ、どのように使用するのか、主な使いやすさの課題、およびそれらを改善する戦略を検討します。

ABSTRACT

The software engineering community recently has witnessed widespread deployment of AI programming assistants, such as GitHub Copilot. However, in practice, developers do not accept AI programming assistants' initial suggestions at a high frequency. This leaves a number of open questions related to the usability of these tools. To understand developers' practices while using these tools and the important usability challenges they face, we administered a survey to a large population of developers and received responses from a diverse set of 410 developers. Through a mix of qualitative and quantitative analyses, we found that developers are most motivated to use AI programming assistants because they help developers reduce key-strokes, finish programming tasks quickly, and recall syntax, but resonate less with using them to help brainstorm potential solutions. We also found the most important reasons why developers do not use these tools are because these tools do not output code that addresses certain functional or non-functional requirements and because developers have trouble controlling the tool to generate the desired output. Our findings have implications for both creators and users of AI programming assistants, such as designing minimal cognitive effort interactions with these tools to reduce distractions for users while they are programming.

研究の動機と目的

• Copilot のようなAIプログラミングアシスタントの実世界での実践と使いやすさのギャップを理解することで、研究の動機を示す。
• 多様な開発者の間での採用状況、使用パターン、認識される恩恵を定量化する。
• 採用と実用利用を妨げる主要な使いやすさの課題を特定する。
• 認知的負荷を減らし、ツール出力の制御性を向上させる設計上の示唆を提供する。

提案手法

• GitHub関連のAIアシスタントリポジトリから参加者を募集し、Eメールで410名の回答者に招待する。
• 閉じた質問と自由回答を含む15分のQualtrics調査を実施する。
• 回答の定量的な出現頻度分析と定性的なオープンコーディングを組み合わせる。
• アイテム頻度と重要度評価を報告するため、調査分析のベストプラクティス手法を使用する。
• 自由回答のオープンコーディングを実施して、繰り返し現れる使いやすさのテーマを抽出する。

実験結果

リサーチクエスチョン

• RQ1 開発者がAIプログラミングアシスタントを使用する動機は何であり、使用を妨げる要因は何か？
• RQ2 AIプログラミングアシスタントを使用する際に直面する最も顕著な使いやすさの問題は何か？
• RQ3 開発者は出力されたコードをどのように理解・評価・修正し、いつそれを諦めるのか？
• RQ4 開発者はこれらのツールから有用な出力を引き出すためにどのような戦略を用い、どんなフィードバックが改善につながるのか？

主な発見

• GitHub Copilot ユーザーは、ツールで書かれたコードの中央値を30.5%と報告している。
• 最も重要な動機は、キーストロークの削減、タスクをより早く完了すること、構文の想起である。
• ツールを使用しない主な理由は、出力が要件を満たさないことと、ツールを制御することの難しさである。
• 主な使いやすさの問題は、どの入力が出力に影響するかが分からないこと、出力されたコードを諦めること、モデルを制御するのが難しいこと。
• ユーザーは反復的なコードや単純な論理コードをうまく生成できるが、複雑なアルゴリズムは効果的に支援されないことが多い。
• 参加者は、明確で明示的な説明を提供すること、文脈を追加すること、慣習に従うこと、出力を得るためにプロンプトを分解することなどの戦略を用いて、より良い出力を得ている。