[論文レビュー] Smart tutor to provide feedback in programming courses

David Roldán‐Álvarez|arXiv (Cornell University)|Jan 24, 2023

E-Learning and Knowledge ManagementComputer Science被引用数 3

ひとこと要約

本論文では、自然言語処理を用いて学生のコードに関する質問を理解し、即時のパーソナライズドフィードバックを提供するAIベースのインテリジェントチューターを提案する。ユリック大学（URJC）の全課程にわたりテストされたこのシステムは、正確な回答と例示を提供する有効性を示し、学生たちはその使いやすさと他の課程においても有用である可能性を評価した。

ABSTRACT

Artificial Intelligence (AI) is becoming more and more popular as time passes, allowing to perform tasks that were difficult to do in the past. From predictions to customization, AI is being used in many areas, not being educational environments outside this situation. AI is being used in educational settings to customize contents or to provide personalized feedback to the students, among others. In this scenario, AI in programming teaching is something that still has to be explored, since in this area we usually find assessment tools that allow grading the students work, but we can not find many tools aimed towards providing feedback to the students in the process of creating their program. In this work we present an AI based intelligent tutor that answers students programming questions. The tool has been tested by university students at the URJC along a whole course. Even if the tool is still in its preliminary phase, it helped the students with their questions, providing accurate answers and examples. The students were able to use the intelligent tutor easily and they thought that it could be a useful tool to use in other courses.

研究の動機と目的

• 自動採点を超えて、プログラミング開発プロセス中に形成的フィードバックを提供するAIツールの不足に応えること。
• 学生のプログラミングに関する質問を理解し、正確で文脈に即した回答を提供するインテリジェントチューターを設計すること。
• 実際の大学プログラミング課程の環境において、チューターの使いやすさと実用的価値を評価すること。
• 即時の、例示に基づいたフィードバックを提供することで、AIが学生の学習をどう向上させられるかを検討すること。

提案手法

• システムは、学生がコードについて質問するテキストを解釈するために自然言語処理（NLP）技術を採用する。
• 共通するプログラミングエラーと概念に特化した知識ベースから、関連するフィードバックとコード例を取得する。
• 学生の質問を知識ベース内の事前に定義されたパターンと解決策に照合することで、応答を生成する。
• このツールは、URJCの大学課程のプログラミングコースに統合され、全学期にわたり導入・評価された。
• 学生の相互作用ログを記録し、応答の正確性とユーザーエクスペリエンスを評価した。
• フィードバックは、学生の認識とシステムの質問応答パフォーマンスに基づいて評価された。

実験結果

リサーチクエスチョン

• RQ1 AIベースのチューターは、学生のコードに関する自然言語の質問を効果的に理解し、応答できるか？
• RQ2 実際の課程環境において、学生はインテリジェントチューターの使いやすさと有用性をどのように評価するか？
• RQ3 チューターは、タイムリーで正確なフィードバックを提供することで、学生の学習をどの程度向上できるか？
• RQ4 このようなシステムは、大学レベルのプログラミング教育において実用的に導入・採用可能か？

主な発見

• インテリジェントチューターは、全学年の課程にわたり、学生のプログラミングに関する質問に対して正確で関連性のあるフィードバックを提供した。
• 学生は、ツールが使いやすく、今後の課程においても有用であると感じた。
• システムは、学生の理解を支援する例示ベースの応答を提供するという実現可能性を示した。
• まだ初期段階ではあるが、このツールは、プログラミング教育における形成的フィードバックの向上に可能性を示した。