[論文レビュー] AI-enhanced Auto-correction of Programming Exercises: How Effective is GPT-3.5?

Imen Azaiz, Oliver Deckarm+1 more|arXiv (Cornell University)|Oct 24, 2023

Artificial Intelligence in Healthcare and Education参考文献 26被引用数 4

ひとこと要約

本研究では、GPT-3.5が初級プログラミング課題の個人化されたフィードバックを生成する効果性を、実際の学生の提出物を分析することで評価している。GPT-3.5は73%のケースで正しさを正しく特定し、そのうち59%のケースで高品質なフィードバックを提供したが、誤りを誤って特定したり、課題の指示に反する変更を提案したりする場合もある。

ABSTRACT

Timely formative feedback is considered as one of the most important drivers for effective learning. Delivering timely and individualized feedback is particularly challenging in large classes in higher education. Recently Large Language Models such as GPT-3 became available to the public that showed promising results on various tasks such as code generation and code explanation. This paper investigates the potential of AI in providing personalized code correction and generating feedback. Based on existing student submissions of two different real-world assignments, the correctness of the AI-aided e-assessment as well as the characteristics such as fault localization, correctness of hints, and code style suggestions of the generated feedback are investigated. The results show that 73 % of the submissions were correctly identified as either correct or incorrect. In 59 % of these cases, GPT-3.5 also successfully generated effective and high-quality feedback. Additionally, GPT-3.5 exhibited weaknesses in its evaluation, including localization of errors that were not the actual errors, or even hallucinated errors. Implications and potential new usage scenarios are discussed.

研究の動機と目的

• 大規模な高等教育現場におけるプログラミング課題の提出物に対して、GPT-3.5が効果的に個人化された高品質なフィードバックを提供できるかどうかを調査すること。
• GPT-3.5が学生のコードが機能的に正しくまたは誤りであるかを特定する精度を評価すること。
• GPT-3.5が生成するフィードバックの質と特徴、特に誤りの特定、ヒントの質、コードスタイルの提案、課題の指示との整合性を評価すること。
• GPT-3.5が自動フィードバックを提供する際の強みと弱みを、従来のe-assessmentシステムと比較して特定すること。
• 特に形成的評価を想定した場合に、LLMをプログラミング教育のワークフローに統合する際の実用的意義と限界を検討すること。

提案手法

• ミュンスター大学（LMUミュンスター）の初年度プログラミング課題2件から実際の学生提出物を収集した。
• 各提出物と課題の指示を、一貫したプロンプト構造を用いたプロンプトベースのインターフェースを通じてGPT-3.5に送信した。
• 応答のばらつきを軽減するため、各提出物に対してGPT-3.5を3回独立して実行し、結果を統合した。
• 2名の研究者が反復的議論を通じて開発したコーディングスキームを用いて、GPT-3.5の応答を手動で分類し、信頼性を確保した。
• 正しさ、誤りの特定、ヒントの関連性、指示遵守、パーソナライズ性の観点からフィードバックの質を評価した。
• 正解ラベルと課題要件との照合を通じて、GPT-3.5の出力の正確性と忠実度を測定した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: GPT-3.5は、学生の提出物の正しさをどの程度適切に特定できるか？
• RQ2 RQ2: GPT-3.5が生成するフィードバックは、長さ、ヒントの質、課題の指示遵守、誤りの特定、コード修正、パーソナライズ性の観点からどのように特徴づけられるか？
• RQ3 RQ3: GPT-3.5がプログラミング課題の個人化されたフィードバックおよびコード修正を提供する際の強みと弱みは何か？

主な発見

• GPT-3.5は73%のケースで学生の提出物の正しさを正しく特定したが、正しくない提出物の検出精度の方が正しい提出物の検出精度よりも高かった。
• 正しさが正しく特定されたケースのうち59%では、GPT-3.5が正確な誤りの特定と実行可能な提案を含む、効果的で高品質なフィードバックを生成した。
• GPT-3.5はときどき誤りを誤って特定し、存在しない問題に対して修正を提案したり、実際に存在するバグ（特に文字列のキャメルケースなど、繊細な点）を検出できなかったりした。
• モデルはときどき課題の指示に反するフィードバックを提供しており、たとえば必要な動作や出力形式を変更するような変更を提案した。
• GPT-3.5は、機能的な論理に注目している間、他の正しいアルゴリズムにおける構文エラーを認識できず、見過ごす傾向があった。
• 限界はあったが、GPT-3.5は教員補佐の事前評価ツールとしての潜在的価値を示しており、迅速な誤り特定とフィードバックドラフト作成を可能にした。