[論文レビュー] The Widening Gap: The Benefits and Harms of Generative AI for Novice Programmers

James Prather, Brent N. Reeves+7 more|arXiv (Cornell University)|May 28, 2024

Artificial Intelligence in Healthcare and Education被引用数 5

ひとこと要約

この研究は、GenAIツールを追加して初心者向けのプログラミング自己認識研究を再現し、GenAIは初心者にとって有益にも害にもなり得ること、新たなメタ認知の難点と高–低成績の学生間でデジタル格差が広がることを示しています。

ABSTRACT

Novice programmers often struggle through programming problem solving due to a lack of metacognitive awareness and strategies. Previous research has shown that novices can encounter multiple metacognitive difficulties while programming. Novices are typically unaware of how these difficulties are hindering their progress. Meanwhile, many novices are now programming with generative AI (GenAI), which can provide complete solutions to most introductory programming problems, code suggestions, hints for next steps when stuck, and explain cryptic error messages. Its impact on novice metacognition has only started to be explored. Here we replicate a previous study that examined novice programming problem solving behavior and extend it by incorporating GenAI tools. Through 21 lab sessions consisting of participant observation, interview, and eye tracking, we explore how novices are coding with GenAI tools. Although 20 of 21 students completed the assigned programming problem, our findings show an unfortunate divide in the use of GenAI tools between students who accelerated and students who struggled. Students who accelerated were able to use GenAI to create code they already intended to make and were able to ignore unhelpful or incorrect inline code suggestions. But for students who struggled, our findings indicate that previously known metacognitive difficulties persist, and that GenAI unfortunately can compound them and even introduce new metacognitive difficulties. Furthermore, struggling students often expressed cognitive dissonance about their problem solving ability, thought they performed better than they did, and finished with an illusion of competence. Based on our observations from both groups, we propose ways to scaffold the novice GenAI experience and make suggestions for future work.

研究の動機と目的

• GenAIツールが初心者プログラマーのプログラミング問題解決にどのような影響を与えるかを調査する。
• GenAIが以前に特定されたメタ認知的困難を悪化させるかを検討する。
• GenAIの使用に起因する新たなメタ認知的困難を特定する。
• GenAIの使用が学生の成績と自己効力感にどのように関連するかを評価する。

提案手法

• Canvasに統合された同じ問題と自動評価ツール(Athene)を用いた以前の実験室研究を再現する。
• CS1コースで、学生は問題解決時にVSCodeとGitHub CopilotおよびChatGPTを使用した。
• 参加者観察、思考 aloud プロトコル、視線追跡（Tobii）、インタビュー、および自己効力感の測定を通じてデータを収集する。
• 予め定義されたメタ認知段階と困難のコードブックに基づいてデータをコード化し、GenAI特有の問題に対する新しいコードを追加する。
• メタ認知的困難、課題遂行時間、成績、自己効力感との相関を分析する。

Figure 1. Problem description from Athene

実験結果

リサーチクエスチョン

• RQ1 RQ1: 初心者プログラマーがプログラミング問題を解く際にGenAIツールを使用して得られる利点は何か？
• RQ2 RQ2: GenAIツールを使ってプログラミング問題を解く際、初心者プログラマーはどのような困難に直面するか。

主な発見

• GenAIの使用は一部の学生に解決への加速をもたらす一方、別の学生には持続的なメタ認知的困難が見られた。
• 従来の困難に加え、Interruption（中断）、Mislead（誤誘導）、Progression（進展）を含むGenAI特有の新たなメタ認知的困難が出現した。
• 成績が高く自己効力感の高い学生はGenAIを使って加速する傾向があった一方、低成績の学生は能力の幻想を示した。
• メタ認知的困難を経験する学生はCopilotの提案をより頻繁に受け入れる傾向があり、後で再考・変更・破棄することもあった。
• 本研究はGenAIの利点と害の両方を観察し、GenAIが達成格差を広げ、困難を抱える学生にとって既存の課題を強化する兆候があることを示した。

Figure 2. Sample Feedback from Athene