[論文レビュー] "It's Weird That it Knows What I Want": Usability and Interactions with Copilot for Novice Programmers

James Prather, Brent N. Reeves+7 more|arXiv (Cornell University)|Apr 5, 2023

Software Engineering Research被引用数 21

ひとこと要約

この研究は、GitHub Copilotを初めて使用するCS1の学生を観察し、新しい相互作用パターン（shepherding および drifting）、認知/メタ認知の課題、そしてAIコード生成ツールを用いた初心者向けプログラミングの設計指針に資するユーザー認識を明らかにします。

ABSTRACT

Recent developments in deep learning have resulted in code-generation models that produce source code from natural language and code-based prompts with high accuracy. This is likely to have profound effects in the classroom, where novices learning to code can now use free tools to automatically suggest solutions to programming exercises and assignments. However, little is currently known about how novices interact with these tools in practice. We present the first study that observes students at the introductory level using one such code auto-generating tool, Github Copilot, on a typical introductory programming (CS1) assignment. Through observations and interviews we explore student perceptions of the benefits and pitfalls of this technology for learning, present new observed interaction patterns, and discuss cognitive and metacognitive difficulties faced by students. We consider design implications of these findings, specifically in terms of how tools like Copilot can better support and scaffold the novice programming experience.

研究の動機と目的

• 初心者が現実のCS1課題でAIコード生成ツールをどのように活用するかを動機づけ、学習への影響を理解する。
• Copilot の学習における利点と落とし穴に対する初心者の認識を検討する。
• 初回使用時の相互作用パターンと認知/メタ認知の課題を特定する。
• AIツールを使用する初心者プログラマー向けの設計上の示唆と支援戦略を知らせる。

提案手法

• Copilotを有効にしたVS Codeで、19人の初心者CS1学生がMinesweeper風の課題を解く観察研究。
• 30分間のセッションでのThink-aloudプロトコルと、課題後のインタビューを補完。
• 観察とインタビュー全体を通じて反省的主題分析（Braun & Clarke）を用いた質的分析。
• 参加者はCopilotの事前経験がなく、セッション前に簡単な訓練を受けた。
• データは匿名化され、6つの分析段階にわたり反復的なコーディングとテーマ開発によって分析された。

(a) A programmer has entered code up to the cursor (red arrow) at the beginning of line 10 with minimal help from Copilot before this point. The gray italicized code is a Copilot suggestion.

実験結果

リサーチクエスチョン

• RQ1 RQ1: 初めてGitHub Copilotに接したとき、初心者はどのように相互作用するのか？
• RQ2 RQ2: 初めてのGitHub Copilot使用体験を初心者はどのように認識するのか？

主な発見

• Copilotはコード作成の速度を上げると認識される一方で、生成コードの理解と過度の依存の懸念も生じる。
• 新たな相互作用パターンが二つ現れる：shepherding（受け入れを遅らせ、適応し、Copilotを解法へ導く）とdrifting（提案ごとに方向性が薄いまま移動する）。
• 参加者はしばしば認知的・メタ認知的困難を示し、混乱、大きなコードブロックによる気の散り、Copilotへの依存が問題解決を妨げた。
• 初心者は時にCopilotを思考を導く手段として用い（ラバーダックの類似）、前進の道を見つける一方で、他方は誤った提案を漂うことで“デバッグの穴”に陥った。
• 肯定的・否定的な感情の相互作用。Copilotの能力に驚きを感じた参加者もいれば、介入的または不正確な提案に苛立つ参加者もいた。
• 本研究は、AIコード生成器を使用する初心者プログラマをより良く支援する設計上の含意とガイドラインを論じる。

(b) The programmer has accepted the suggestion in (a) by pressing tab, advancing the cursor to the end of line 10 (red arrow), just after the code that was suggested. The gray italicized code is the next Copilot suggestion.