[論文レビュー] From Prediction to Application: Language Model-based Code Knowledge Tracing with Domain Adaptive Pre-Training and Automatic Feedback System with Pedagogical Prompting for Comprehensive Programming Education

Unggi Lee, Jiyeong Bae+10 more|arXiv (Cornell University)|Jan 1, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 1

ひとこと要約

本論文は、ドメイン適応的およびタスク適応的事前学習を活用して、プログラミング教育における予測精度を向上させる、言語モデルベースのCode Knowledge Tracing（CodeLKT）を提案する。CodeLKTは大規模言語モデルと統合され、構造化されたプロンプトを用いて、個別化され教育的根拠を持つフィードバックを生成する。このシステムは、既存のモデルを著しく上回り、行動可能な文脈認識フィードバックを提供し、予測と応用の間のギャップを埋める。

ABSTRACT

Knowledge Tracing (KT) is a critical component in online learning, but traditional approaches face limitations in interpretability and cross-domain adaptability. This paper introduces Language Model-based Code Knowledge Tracing (CodeLKT), an innovative application of Language model-based Knowledge Tracing (LKT) to programming education. CodeLKT leverages pre-trained language models to process learning data, demonstrating superior performance over existing KT and Code KT models. We explore Domain Adaptive Pre-Training (DAPT) and Task Adaptive Pre-Training (TAPT), showing enhanced performance in the coding domain and investigating cross-domain transfer between mathematics and coding. Additionally, we present an theoretically-informed integrated system combining CodeLKT with large language models to generate personalized, in-depth feedback to support students' programming learning. This work advances the field of Code Knowledge Tracing by expanding the knowledge base with language model-based approach and offering practical implications for programming education through data-informed feedback.

研究の動機と目的

• プログラミング教育における意味的ニュアンスの捉え込みとクロスドメイン移行を可能にする伝統的知識トレーシング（KT）モデルの限界を解決すること。
• ドメインおよびタスク固有の適応を用いた事前学習された言語モデルを活用することで、Code Knowledge Tracing（CodeKT）における予測精度を向上させること。
• 自動的で教育的根拠を持つフィードバック生成を統合した包括的システムにより、予測モデリングと実用的応用のギャップを埋めること。
• 言語モデルを用いて数学とコーディングの間で知識を効果的に転送できるかを調査すること。
• 教育理論に基づいたフィードバックシステムを構築し、学習履歴および成績に基づいて文脈認識でパーソナライズされたガイダンスを学生に提供すること。

提案手法

• CodeLKTは、学生のコーディングシーケンスを自然言語として処理する言語モデルベースのアーキテクチャを採用し、コードと応答における意味的および構文的パターンを捉える。
• ドメイン適応的事前学習（DAPT）は、プログラミング固有のコーパスでベース言語モデルを微調整することで、コーディングドメインにおけるパフォーマンスを向上させる。
• タスク適応的事前学習（TAPT）は、CodeKT固有のデータでさらにモデルを適応させることで、タスク固有の知識トレーシング能力を向上させる。
• プロンプトベースのフィードバックシステムは、教育的プロンプトテンプレートと構造化されたコンponents（例：肯定的フィードバック、ヒント、関連過去問題）を用い、文脈認識で学生固有のフィードバックを生成する。
• フィードバックシステムは、CodeLKTの予測出力（例：正答確率）とLLMを統合し、正答の訂正、改善のヒント、次なる挑戦を含む多要素フィードバックを生成する。
• システムは2段階のプロンプトフレームワークを用いる：回答が提出された際の正答フィードバック用と、回答が不正解の際のヒントフィードバック用で、両者ともプログラミング教育理論に基づく。

実験結果

リサーチクエスチョン

• RQ1 CodeLKTは、プログラミング学習タスクにおける予測精度の観点で、既存のKTおよびCodeKTモデルと比較してどのように異なるか？
• RQ2 ドメイン適応的事前学習（DAPT）は、コーディングドメインにおけるモデルパフォーマンスをどの程度向上させるか？
• RQ3 言語モデルを用いて数学からコーディングへの知識転送は効果的に行えるか？また、その影響はパフォーマンスにどのように現れるか？
• RQ4 タスク適応的事前学習（TAPT）は、CodeKT固有のパフォーマンス向上にどの程度効果的か？
• RQ5 LLMベースのフィードバックシステムは、予測を越えて学習を支援する教育的根拠を持つパーソナライズドなフィードバックを効果的に生成できるか？

主な発見

• CodeLKTは、既存のKTおよびCodeKTモデルを著しく上回り、プログラミング教育ベンチマークにおいて優れた予測精度を示している。
• ドメイン適応的事前学習（DAPT）は、コーディング固有のタスクにおけるモデルパフォーマンスに顕著な向上をもたらし、ドメイン固有の微調整の価値を裏付けている。
• タスク適応的事前学習（TAPT）は、CodeKTタスクにおけるモデルパフォーマンスをさらに向上させ、タスク固有の適応が知識トレーシングに有効であることを示している。
• 言語モデルを用いた数学からコーディングへのクロスドメイン転送は実現可能であり、STEM分野における共通の基盤モデルの可能性を示唆している。
• 統合されたフィードバックシステムは、正答の訂正、改善のヒント、次なる挑戦を含む高品質なパーソナライズドフィードバックを生成しており、質的証拠により教育的妥当性と文脈的関連性が確認されている。