[論文レビュー] Harnessing Large Language Models to Enhance Self-Regulated Learning via Formative Feedback

Steffen Steinert, Karina E. Avila+3 more|arXiv (Cornell University)|Nov 23, 2023

Innovative Teaching and Learning Methods被引用数 11

ひとこと要約

本論文は LEAP を提示する。大規模言語モデルを用いて自己調整学習を支援する理論主導の形成的フィードバックを提供するオープンアクセスプラットフォームであり、SRL原則と認知的活性化活動に基づくプロンプトで設計されている。

ABSTRACT

Effectively supporting students in mastering all facets of self-regulated learning is a central aim of teachers and educational researchers. Prior research could demonstrate that formative feedback is an effective way to support students during self-regulated learning (SRL). However, for formative feedback to be effective, it needs to be tailored to the learners, requiring information about their learning progress. In this work, we introduce LEAP, a novel platform that utilizes advanced large language models (LLMs), such as ChatGPT, to provide formative feedback to students. LEAP empowers teachers with the ability to effectively pre-prompt and assign tasks to the LLM, thereby stimulating students' cognitive and metacognitive processes and promoting self-regulated learning. We demonstrate that a systematic prompt design based on theoretical principles can provide a wide range of types of scaffolds to students, including sense-making, elaboration, self-explanation, partial task-solution scaffolds, as well as metacognitive and motivational scaffolds. In this way, we emphasize the critical importance of synchronizing educational technological advances with empirical research and theoretical frameworks.

研究の動機と目的

• 個別化された形成的フィードバックを通じて、効果的な自己調整学習（SRL）を動機づけ、実現する。
• 体系的なプロンプト設計が認知的、メタ認知的、動機づけの足場をどのように刺激できるかを示す。
• 出力品質を制御しつつ、プログラミングの必要性を低減する教師に優しいツールを提供する。

提案手法

• LLMs のためのプロンプトと課題を作成するウェブベースのプラットフォームとして LEAP を紹介する。
• SRLと形成的フィードバック理論に基づく三部構成のプロンプト設計（Condition, Consequence, Refinement）を説明する。
• 実装の詳細を説明する：Flask バックエンド、MariaDB データベース、および OpenAI ChatGPT API の使用。
• 認知活性化フィードバック（意味づけ、展開、自己説明）とメタ認知/動機づけの足場を生成するプロンプトを実演する。
• 教師が学生フィードバックの難易度レベルを選択できることを示す（low, middle, high）。
• 研究のためのデータ記録とともに、制御された課題作成、学生への匿名配布を可能にするアーキテクチャについて論じる。

Figure 1: Systematic prompt generation in three parts based on theoretical principles.

実験結果

リサーチクエスチョン

• RQ1 LLMs をどのように促進して、SRL における認知、メタ認知、動機づけを支援する形成的フィードバックを提供させられるか？
• RQ2 事前定義されたプロンプトを通じて、教師に優しいプラットフォームが多様な足場（意味づけ、展開、自己説明、部分的な課題解決、メタ認知および動機づけのプロンプト）を信頼性高く生成できるか？
• RQ3 SRL 課題における幻覚（ハルシネーション）や偏りを低減しつつ学習成果を高める上で、構造化された prompting の役割は何か？

主な発見

• 体系的で理論に基づく三部構成のプロンプト設計により、学生にプロンプトの詳細を露呈させずに、LLM が多様な認知的足場を提供できる。
• より複雑なプロンプトは、特に高度な ChatGPT バージョンで、より豊かなフィードバックを引き出す傾向がある。
• LEAP は教師が事前プロンプトを設定し課題を割り当てることを可能にし、SRL を促進する一方で学生のプロンプト作成作業を削減する。
• このプラットフォームは、SRL の各次元（認知、メタ認知、動機づけ）にわたるリアルタイムで個別化された形成的フィードバックをサポートする。
• LEAP のアーキテクチャは、課題の制御された、プライバシーを保護した配信と研究のための相互作用データの収集を可能にする。

Figure 2: The LEAP window displays an example of how to assign a task to students. This process includes several steps: selecting the GPT version, naming the task, formulating the question for students, setting instructions for ChatGPT, and providing the correct answer.