[論文レビュー] Enhancing LLM-Based Feedback: Insights from Intelligent Tutoring Systems and the Learning Sciences

John Stamper, Ruiwei Xiao+1 more|arXiv (Cornell University)|May 7, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 7

ひとこと要約

この論文は、LLM ベースのフィードバックを ITS と学習科学理論に基づかせ、教育用AIシステムの設計・実装・評価方法を概説する。

ABSTRACT

The field of Artificial Intelligence in Education (AIED) focuses on the intersection of technology, education, and psychology, placing a strong emphasis on supporting learners' needs with compassion and understanding. The growing prominence of Large Language Models (LLMs) has led to the development of scalable solutions within educational settings, including generating different types of feedback in Intelligent Tutoring Systems. However, the approach to utilizing these models often involves directly formulating prompts to solicit specific information, lacking a solid theoretical foundation for prompt construction and empirical assessments of their impact on learning. This work advocates careful and caring AIED research by going through previous research on feedback generation in ITS, with emphasis on the theoretical frameworks they utilized and the efficacy of the corresponding design in empirical evaluations, and then suggesting opportunities to apply these evidence-based principles to the design, experiment, and evaluation phases of LLM-based feedback generation. The main contributions of this paper include: an avocation of applying more cautious, theoretically grounded methods in feedback generation in the era of generative AI; and practical suggestions on theory and evidence-based feedback design for LLM-powered ITS.

研究の動機と目的

• 過去の ITS フィードバック生成方法（専門家生成、データ駆動、LLM ベース）を調査し、理論的基盤と実証的有効性を特定する。
• ITS 文脈内での LLM 駆動フィードバックにおける理論ベースの、エビデンスに基づく設計を主張する。
• 教育における効果的な LLM ベースのフィードバックの設計、実験、評価戦略の設計図を提供する。

提案手法

• 専門家生成 learner モデル、データ駆動モデル、LLM ベースの方法を含む ITS フィードバック生成アプローチをレビューし統合する。
• フィードバック設計決定を ITS 学習理論と実証評価にマッピングする。
• LLM ベースのフィードバックにおけるトリガー、プロンプトエンジニアリング、内容選択、モダリティ、評価の実用的な指針を提案する。

実験結果

リサーチクエスチョン

• RQ1 LLM 駆動 ITS のフィードバック設計を、先行する ITS および学習科学研究に基づかせるにはどうすればよいか？
• RQ2 設計決定（トリガ、入力情報、内容、モダリティ、評価）は、教育における LLM ベースのフィードバックの有効性にどのように影響するか？
• RQ3 LLM フィードバックの内容と評価を導く理論的枠組み（例：ブルームの taxonomy、KLI）とは何か？
• RQ4 実際の教室での LLM ベースのフィードバックの導入における倫理的・実践的配慮は？

主な発見

• LLM ベースのフィードバックは拡張性を提供するが、表面的なプロンプトを超えた理論ベースの設計を必要とする。
• 学習科学の枠組みに基づくフィードバックは、内容のタイプと教育目標を最適化するよう指針を与える。
• プロンプトエンジニアリングは学生モデルと認知状態情報を統合してフィードバックを調整するべき。
• GenAI によるマルチモーダルなフィードバック提供は、適切に設計された場合 multimedia 学習原理に従うことができる。
• 評価は精度と網羅性だけでなく、適切さ、簡潔さ、学習成果などの指標にも拡張するべき。
• 倫理的懸念（偏見や幻覚）は評価と展開の際に対処する必要がある。