[論文レビュー] Exploring the Potential of Large Language Models to Generate Formative Programming Feedback

Natalie Kiesler, Dominic Lohr+1 more|arXiv (Cornell University)|Aug 31, 2023

Software Engineering Research被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLM）、特にChatGPTが、初心者向けプログラミングの学習者に対して形成的フィードバックを生成する可能性を調査している。CS1の授業で得られた実際の学生のコードのシーケンスを用いて、ChatGPTがフィードバックと正しい解決策をどれだけ効果的に提供できるかを評価したところ、一部のタスクに関しては妥当に機能することが判明したが、適切なガイダンスがなければ、誤った情報が初心者学習者を誤導する可能性があると警告している。

ABSTRACT

Ever since the emergence of large language models (LLMs) and related applications, such as ChatGPT, its performance and error analysis for programming tasks have been subject to research. In this work-in-progress paper, we explore the potential of such LLMs for computing educators and learners, as we analyze the feedback it generates to a given input containing program code. In particular, we aim at (1) exploring how an LLM like ChatGPT responds to students seeking help with their introductory programming tasks, and (2) identifying feedback types in its responses. To achieve these goals, we used students' programming sequences from a dataset gathered within a CS1 course as input for ChatGPT along with questions required to elicit feedback and correct solutions. The results show that ChatGPT performs reasonably well for some of the introductory programming tasks and student errors, which means that students can potentially benefit. However, educators should provide guidance on how to use the provided feedback, as it can contain misleading information for novices.

研究の動機と目的

• 大規模言語モデル（LLM）が、初心者プログラミングタスクの手助けを求めている学生に対してどのように反応するかを調査すること。
• 学生のコードに対するLLMが生成するフィードバックの種類を特定・分類すること。
• 初心者プログラマーに対するLLMによるフィードバックの信頼性と教育的価値を評価すること。
• LLMフィードバックにおける誤情報のリスクと、教育者によるガイダンスの必要性を強調すること。

提案手法

• 研究では、CS1の授業から収集した学生のプログラミングのシーケンスを、ChatGPTの入力として使用した。
• コード提出と共に特定の質問を提示することで、フィードバックと正しい解決策を引き出した。
• LLMの応答を分析し、フィードバックの種類を特定し、正確性と有用性を評価した。
• 分析は、一般的な初心者向けプログラミングの誤りとタスクタイプに焦点を当てた。
• 研究者は、正確性、明確さ、教育的関連性に基づいてフィードバックの質を評価した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、初心者向けプログラミングタスクにおける学生のコード提出に対して、どのように反応するか？
• RQ2 学生のコードを修正するよう求められた際、ChatGPTはどのような種類のフィードバックを生成するか？
• RQ3 ChatGPTが提供するフィードバックは、初心者向けのプログラミング誤りに対してどれほど正確かつ有用か？
• RQ4 LLMによるフィードバックは、どのような点で初心者学習者を誤導する可能性があるか？

主な発見

• ChatGPTは、初心者向けプログラミングタスクの一部および一般的な学生の誤りに対して、妥当な正確性でフィードバックを生成した。
• モデルは、基本的なプログラミング構文や論理的誤りに対して、特に役立つフィードバックを提供したことがある。
• しかし、より複雑または曖昧なコードに対しては、誤ったまたは誤解を招くフィードバックを提供する場合もあった。
• フィードバックの質は、入力の明確さやプログラミング誤りの性質に大きく依存していた。
• 本研究では、初心者学習者が批判的評価をせず、誤ったフィードバックを受け入れるリスクが強調された。