[論文レビュー] Implementing Learning Principles with a Personal AI Tutor: A Case Study

Ambroise Baillifard, Maxime Gabella+2 more|arXiv (Cornell University)|Sep 10, 2023

Online Learning and Analytics被引用数 7

ひとこと要約

本研究では、GPT-3を用いてマイクロラーニングの質問を生成し、ニューラルネットワークで個々の学生の知識をモデル化することで、個人用AIチューターを実装した。学習科学の原則—パーソナライゼーション、リトリーバル・プライクティス、スパaced repetition—を適用した。AIチューターを使用した学生は、対照群と比較して著しく高い試験成績を示し、平均して最大15パーセンタイルポイントの向上を達成した。これは、システムがデータドリブンで適応的なパーソナライゼーションにより学習を向上させることの有効性を裏付けている。

ABSTRACT

Effective learning strategies based on principles like personalization, retrieval practice, and spaced repetition are often challenging to implement due to practical constraints. Here we explore the integration of AI tutors to complement learning programs in accordance with learning sciences. A semester-long study was conducted at UniDistance Suisse, where an AI tutor app was provided to psychology students taking a neuroscience course (N=51). After automatically generating microlearning questions from existing course materials using GPT-3, the AI tutor developed a dynamic neural-network model of each student's grasp of key concepts. This enabled the implementation of distributed retrieval practice, personalized to each student's individual level and abilities. The results indicate that students who actively engaged with the AI tutor achieved significantly higher grades. Moreover, active engagement led to an average improvement of up to 15 percentile points compared to a parallel course without AI tutor. Additionally, the grasp strongly correlated with the exam grade, thus validating the relevance of neural-network predictions. This research demonstrates the ability of personal AI tutors to model human learning processes and effectively enhance academic performance. By integrating AI tutors into their programs, educators can offer students personalized learning experiences grounded in the principles of learning sciences, thereby addressing the challenges associated with implementing effective learning strategies. These findings contribute to the growing body of knowledge on the transformative potential of AI in education.

研究の動機と目的

• 学習科学の原則に基づいたAIチューターの統合が、高等教育における学業成績を向上させるかどうかを調査すること。
• 実際の学期課程の環境において、AI駆動のパーソナライゼーション、リトリーブ・プライクティス、スパースドリピティションの有効性を評価すること。
• 相互作用データに基づいて、学生の動的知識レベルを正確に予測できるニューラルネットワークモデルの妥当性を検証すること。
• オンライン遠隔学習環境におけるAIチューターの導入可能性と影響を検討すること。
• AIチューターがスケールアップして、証拠に基づく学習戦略を効果的に実装できることを実証的根拠で示すこと。

提案手法

• GPT-3を用いて、神経科学の主要な概念に焦点を当てたマイクロラーニングの質問を生成した。
• 応答パターンに基づいて、各学生のコース内容への理解の変化を予測する動的ニューラルネットワークモデルを訓練した。
• 予測された忘却曲線に基づいて最適な間隔で質問をスケジューリングすることで、適応的リトリーブ・プライクティスを実装した。
• 個々の学生のパフォーマンスと予測された知識レベルに応じて、質問の難易度とタイミングを調整することで、パーソナライズドな学習パスを提供した。
• 1学期間にわたり、51名の心理学専攻学生の匿名化された使用データを収集し、関与度と成績の両面で評価を行った。
• 予測された理解度スコアと実際の試験成績の相関関係を分析することで、モデルの予測精度を検証した。

Figure 1: Examples of questions generated by the AI tutor app. From left to right, we see a definition, a question based on an image, and a multiple-choice question with feedback (see also Appendix A for questions in English). On the right we see the “learnet,” a visual organization of all key conce

実験結果

リサーチクエスチョン

• RQ1 AIチューターと積極的にやり取りした学生は、対照群と比較して著しく高い試験成績を達成するか？
• RQ2 AIチューターのニューラルネットワークモデルは、学生の知識レベルをどの程度正確に予測できるか？
• RQ3 AIチューターを通じたスパースドリピティションとリトリーブ・プライクティスの統合が、学習成果にどのような影響を与えるか？
• RQ4 AIチューターとの関与度と試験成績のパーセンタイル順位の向上の関係は何か？
• RQ5 機械学習ベースのAIチューターは、現実の教育的文脈において、人間の学習プロセスを効果的に模倣できるか？

主な発見

• AIチューターを積極的に使用した学生は、AIチューターなしの並行授業と比較して、著しく高い試験成績を示した。
• AIチューターとの積極的関与は、試験成績の平均で最大15パーセンタイルポイントの向上をもたらした。
• ニューラルネットワークが予測した学生の理解度は、実際の試験成績と強く相関しており、その予測精度が裏付けられた。
• AIチューターは、個々の学習曲線に基づいて動的に質問をスケジューリングすることで、スパースドリピティションとリトリーブ・プライクティスを効果的に実装した。
• アプリから離脱した学生は成績が低下したため、継続的な相互作用が利益を得る上で不可欠であることが示唆された。
• 本研究は、AIチューターが本物の教育的環境において、学習科学の核心原則を効果的に実装できることを示した。

Figure 2: Left-hand side : Distribution of students ( $N=51$ ) categorized as active or inactive according to the minimum number of answers provided on the app. Right-hand side : Average grades for active and inactive students, as distinguished by a minimum number of answers given on the app. The ef