[論文レビュー] Students' Perceptions and Preferences of Generative Artificial Intelligence Feedback for Programming

Zhengdong Zhang, Zihan Dong+4 more|arXiv (Cornell University)|Dec 17, 2023

Software Engineering Research被引用数 4

ひとこと要約

本研究では、CS1の授業におけるJavaプログラミング課題について、学生がChatGPTが生成したフィードバックをどのように評価するかを調査した。シューテーの形成的フィードバック枠組みを用いて、コードがプロンプトに含まれる際、学生はLLMのフィードバックを非常に形成的であると認識しており、具体的で是正的かつ明確なフィードバックに加え、コード例が含まれるものを好む。また、トーンのパーソナライズ性と正確性の向上を要請している。

ABSTRACT

The rapid evolution of artificial intelligence (AI), specifically large language models (LLMs), has opened opportunities for various educational applications. This paper explored the feasibility of utilizing ChatGPT, one of the most popular LLMs, for automating feedback for Java programming assignments in an introductory computer science (CS1) class. Specifically, this study focused on three questions: 1) To what extent do students view LLM-generated feedback as formative? 2) How do students see the comparative affordances of feedback prompts that include their code, vs. those that exclude it? 3) What enhancements do students suggest for improving AI-generated feedback? To address these questions, we generated automated feedback using the ChatGPT API for four lab assignments in the CS1 class. The survey results revealed that students perceived the feedback as aligning well with formative feedback guidelines established by Shute. Additionally, students showed a clear preference for feedback generated by including the students' code as part of the LLM prompt, and our thematic study indicated that the preference was mainly attributed to the specificity, clarity, and corrective nature of the feedback. Moreover, this study found that students generally expected specific and corrective feedback with sufficient code examples, but had diverged opinions on the tone of the feedback. This study demonstrated that ChatGPT could generate Java programming assignment feedback that students perceived as formative. It also offered insights into the specific improvements that would make the ChatGPT-generated feedback useful for students.

研究の動機と目的

• 学生が形成的フィードバックの質という観点から、プログラミング課題に対するLLMが生成したフィードバックをどのように評価するかを調査すること。
• プロンプトに学生のコードを含めるか含めないかによる、フィードバックの好みの比較。
• LLMが生成するフィードバックの有用性と明確性を高めるために、学生が提言する具体的な改善策を特定すること。
• ChatGPTを用いた形成的フィードバックの自動化が、導入段階のコンピュータサイエンス課程において実現可能かどうかを評価すること。

提案手法

• ChatGPT APIを用いて、4つのCS1ラボ課題について、学生のコードを含むか含まないかのプロンプトで自動フィードバックを生成した。
• シューテーの形成的フィードバックガイドラインに基づくアンケートを実施し、フィードバックの質の主観的評価を評価した。
• オープンエンドのアンケート回答についてテーマ分析を実施し、フィードバックの好みや改善のための提案の背景を理解した。
• 2023年夏に、米国公立大学のコンピュータサイエンス専攻の学生58名からデータを収集した。
• 定量的分析を用いて、フィードバックを形成的であると認識した学生の割合を評価し、70%の閾値を主観的ベンチマークとして用いた。
• オープンエンドの質問によるトーンとその影響に関する学生の回答を分析し、フィードバックのトーン好みを調査した。

実験結果

リサーチクエスチョン

• RQ1 シューテーのガイドラインに従って、学生はLLMが生成したフィードバックをどの程度形成的であると認識しているか。
• RQ2 プロンプトにコードが含まれるか含まれないかに応じて、学生はフィードバックの質と有用性をどのように比較評価するか。
• RQ3 学生は、LLMが生成するフィードバックの明確性、具体的さ、是正的性質を高めるために、具体的にどのような改善を要請しているか。
• RQ4 成績レベル（例：満点 vs. 低得点）に応じて、学生のフィードバック好みはどのように異なるか。
• RQ5 フィードバックのトーンは学生の認識にどのような役割を果たし、肯定的トーンと批判的トーンの好みに相違があるか。

主な発見

• 70%以上の学生が、LLMが生成したフィードバックを、シューテーの基準に従って形成的であると認識しており、効果的な形成的フィードバックの基準を満たしている。
• 学生は、プロンプトに自分のコードが含まれるフィードバックを強く好んだ。具体的な記述、明確さ、是正的価値の向上がその理由であると述べた。
• 学生は一貫して、より具体的で明確で、例を多く含むフィードバックを要請しており、特に改善のための正しいコードスニペットの提供を強く求めた。
• トーンの好みに相違が見られた：117名中3名が肯定的で励ましのトーンを好んだ一方、5名がより批判的でエラーに焦点を当てたトーンを好んだ。
• 満点を取った学生は、カリキュラムを超えたフィードバックに関心を示したが、低得点の学生は外部の学習リソースを求める傾向が見られた。
• 学生は、LLMが文脈や思考プロセスを十分に理解できていないと指摘し、モデルが学生固有のニーズをより良く認識できるようになる必要があると提言した。