[論文レビュー] How Novice Programmers Use and Experience ChatGPT when Solving Programming Exercises in an Introductory Course

Andreas Scholl, Natalie Kiesler|arXiv (Cornell University)|Jul 30, 2024

Online Learning and Analytics被引用数 6

ひとこと要約

この研究は、ドイツの大学に在籍する計算機系の学生298名を対象に、入門プログラミング課題におけるChatGPT-3.5の使用方法とその利点・制限の認識を調査し、利用パターンと態度の多様さを明らかにする。

ABSTRACT

This research paper contributes to the computing education research community's understanding of Generative AI (GenAI) in the context of introductory programming, and specifically, how students utilize related tools, such as ChatGPT. An increased understanding of students' use is mandatory for educators and higher education institutions, as GenAI is here to stay, and its performance is likely to improve rapidly in the near future. Learning about students' use patterns is not only crucial to support their learning, but to develop adequate forms of instruction and assessment. With the rapid advancement of AI, its broad availability, and ubiquitous presence in educational environments, elaborating how AI can enhance learning experiences, especially in courses such as introductory programming is important. To date, most studies have focused on the educator's perspective on GenAI, its performance, characteristics, and limitations. However, the student perspective, and how they actually use GenAI tools in course contexts, has not been subject to a great number of studies. Therefore, this study is guided by the following research questions: (1) What do students report on their use pattern of ChatGPT in the context of introductory programming exercises? and (2) How do students perceive ChatGPT in the context of introductory programming exercises? To address these questions, computing students at a large German university were asked to solve programming tasks with the assistance of ChatGPT as part of their introductory programming course. Students (n=298) provided information regarding the use of ChatGPT, and their evaluation of the tool via an online survey. This research provides a comprehensive evaluation of ChatGPT-3.5's application by novice programmers in a higher education context...

研究の動機と目的

• 入門プログラミング課題を解く際に、初学者プログラマがChatGPTをどのように用いるかを理解する。
• 課題におけるChatGPTの有用性・正確性・実用性に対する学生の認識を探る。
• GenAIツールに対する学生の使用パターンと態度を概説することで、教育設計と評価に情報を提供する。

提案手法

• 入門プログラミングコースの一部としてChatGPT-3.5を用いた演習課題を作成・実施する。
• 使用パターン、アクセス方法、課題タイプを含むオンライン調査を298名の学生から収集する。
• 閉じた質問の回答を定量的手法で、自由回答を質的内容分析で分析する。
• 背景: 二時間の講義とチュートリアルを含む大規模なドイツの大学のコース; 学生はMoodleにプロンプト-応答ペアを提出した。
• 課題には再帰、関数、リスト、条件分岐、文字列操作、ドキュメンテーションが含まれ、ChatGPT-3.5の異なるサブタスクのパフォーマンスが記録された。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 入門プログラミング課題の文脈におけるChatGPTの使用パターンについて、学生は何を報告しているか？
• RQ2 RQ2: 入門プログラミング課題の文脈でChatGPTをどのように認識しているか？

主な発見

• 学生はGenAIを広く採用しており、生成された解の受け入れから批判的・対話的な活用まで幅広い。
• 頻繁な使用パターン：約半数が週次、18%が毎日使用し、ほとんどの対話は30分未満で、ChatGPTのウェブインターフェース経由でアクセスされる。
• 学生は問題理解、概念的入力、コード生成、デバッグ、ドキュメンテーション、テストケース、構文修正、実行時分析のためにChatGPTを用いた。
• 使いやすさの認識は肯定的（中央値/平均はおよそ4.0程度）、正確さと関連性についての見解はまちまち（中央値およそ3、平均はおよそ2.87）。
• 全体的な満足度は一般に肯定的（中央値4、平均3.44）、多くは初心者にChatGPTを勧めたいと考えている（中央値4、平均3.63）。
• 質的分析により、経験の20カテゴリーが明らかになる（例：出発点、概念入力、学習仲間、コードとテキストの生成、デバッグ、代替的視点、検索ツール、応答品質、チャット履歴、可用性、使いやすさ、時間効率、知識ベース、社会的相互作用、プライバシー問題、過信、幻視、整合性、依存性）を含み、正確さの欠如、幻視、依存性などの利点とリスクの両方を強調する。