[論文レビュー] Leveraging Large Language Model and Story-Based Gamification in Intelligent Tutoring System to Scaffold Introductory Programming Courses: A Design-Based Research Study

Chen Cao|arXiv (Cornell University)|Feb 25, 2023

Online Learning and Analytics被引用数 7

ひとこと要約

本研究は、中国の留学生のプログラミング学習を支援し、帰属意識を高めるために、GPT-3を活用した物語中心のゲーム化されたインテリジェントチューティングシステム（ITS）を設計・評価した。このシステムは、物語主導のAIエージェントを用いて、パーソナライズドフィードバックを提供し、関与度を高め、不安を軽減する。パイロット研究の結果、高い使いやすさ、受容性、および支援性とインタラクティブ性に関する肯定的なユーザーの認識が得られた。

ABSTRACT

Programming skills are rapidly becoming essential for many educational paths and career opportunities. Yet, for many international students, the traditional approach to teaching introductory programming courses can be a significant challenge due to the complexities of the language, the lack of prior programming knowledge, and the language and cultural barriers. This study explores how large language models and gamification can scaffold coding learning and increase Chinese students sense of belonging in introductory programming courses. In this project, a gamification intelligent tutoring system was developed to adapt to Chinese international students learning needs and provides scaffolding to support their success in introductory computer programming courses.

研究の動機と目的

• 英語圏の大学における初級プログラミングコースで、言語的・文化的なギャップおよび先行知識の欠如により、中国の留学生の間で帰属意識が低く、不安が高まるという課題に対処すること。
• AI強化型ゲーム化が、パーソナライズドで適応的なフィードバックを提供し、感情的・認知的関与を促進することで、学習を支援する仕組みとしてどのように機能するかを調査すること。
• 物語的要素と役割ベースのAIエージェントを統合したインテリジェントチューティングシステムを設計し、支援的でインタラクティブな学習環境を模擬すること。
• 実世界の教育的文脈において、システムの使いやすさ、受容性、および学習成果や帰属意識の向上に与える有効性を評価すること。

提案手法

• GPT-3を搭載した4体のAIエージェント（Sherlock：指導、Watson：批判的思考、Inspector Lestrade：キャリア関与、Mrs Hudson：感情的支援）を備えた物語中心のITSを開発した。
• コード解説モジュールを実装し、GPT-3 APIをコードスニペットと自然言語プロンプトで呼び出すことで、パーソナライズドフィードバックを生成するプロンプト工学を活用した。
• CS1のカリキュラム目標と教員の振り返りに基づいて、プロンプトプログラミングを用いて360ラウンドの学生・教師間の対話をシミュレートした。
• ステークホルダー（学生、教員、研究者）を対象にパイロットユーザースタディを実施し、システムの使いやすさ、受容性、および実効性の認識を評価した。
• AI生成応答の質とトーンを評価するために、意味的類似度、トピックモデリング、感情分析を適用した。
• 縦断的分析を可能にするために、リアルタイムのコード提出、フィードバック、チャット履歴のログ記録をサポートするインターフェースを設計した。

実験結果

リサーチクエスチョン

• RQ1 GPT-3を強化した物語中心のゲーム化されたITSは、初級プログラミングコースにおける中国の留学生の帰属意識にどのような影響を与えるか？
• RQ2 GPT-3は、ブルームのタクソナミーの異なるレベル（記憶、理解、分析など）に対応して、どの程度パーソナライズドで適応的なフィードバックを提供できるか？
• RQ3 物語主導のAIエージェントが提供する使いやすさ、受容性、感情的支援について、ユーザーはどのように認識しているか？
• RQ4 プロンプトの質が、教育的コード文脈におけるGPT-3の応答の正確性と深さに与える影響は何か？
• RQ5 ゲーム化されたAIエージェントは、初級プログラミング教育において、探求型学習や計算的思考を効果的に促進できるか？

主な発見

• 予備的な結果から、GPT-3を活用したゲーム化は、パーソナライズドで物語主導の対話によって、学生の不安を顕著に軽減し、帰属意識を高めていることが示された。
• AIエージェントは、記憶・理解・分析といった低～中程度の認知的領域における明確な質問に対して、フィードバックの生成と洞察に満ちた会話の継続において優れたパフォーマンスを示した。
• ユーザーは高い満足度と支援の認識を示し、多くの人がAIエージェントが提供する感情的・学術的支援に驚きと感謝を示した。
• パイロット研究において、システムは使いやすさと受容性の点で高い評価を受け、特にシャーロックの物語ストーリーが魅力的で動機付けになると参加者から評価された。
• 感情分析の結果、AI生成応答には一貫して肯定的な感情的トーンが見られ、感情的支援の効果的な提供が示唆された。
• GPT-3の応答の質は、入力質問の明確さと構造に強く依存しており、よく整ったプロンプトがより正確で詳細な説明をもたらすことが確認された。