[論文レビュー] Adaptive and Personalized Exercise Generation for Online Language Learning

Peng Cui, Mrinmaya Sachan|arXiv (Cornell University)|Jun 4, 2023

Online Learning and Analytics被引用数 2

ひとこと要約

本論文では、事前学習された言語モデルを用いて知識追跡（KT）と制御可能なテキスト生成を組み合わせたハイブリッドモデルを提案し、オンライン言語学習向けに適応的でパーソナライズされた演習問題を生成する。学生の知識状態の変化を推定し、望ましい難易度や語彙に基づいてターゲットとなる演習問題を生成することで、シミュレーション研究においてベースライン手法を上回り、動的な個別最適化された演習問題の順序付けにより、知識習得が速く、学習効率が向上することを示した。

ABSTRACT

Adaptive learning aims to provide customized educational activities (e.g., exercises) to address individual learning needs. However, manual construction and delivery of such activities is a laborious process. Thus, in this paper, we study a novel task of adaptive and personalized exercise generation for online language learning. To this end, we combine a knowledge tracing model that estimates each student's evolving knowledge states from their learning history and a controlled text generation model that generates exercise sentences based on the student's current estimated knowledge state and instructor requirements of desired properties (e.g., domain knowledge and difficulty). We train and evaluate our model on real-world learner interaction data from Duolingo and demonstrate that LMs guided by student states can generate superior exercises. Then, we discuss the potential use of our model in educational applications using various simulations. These simulations show that our model can adapt to students' individual abilities and can facilitate their learning efficiency by personalizing learning sequences.

研究の動機と目的

• オンライン言語学習プラットフォーム向けに、手作業で作成されたパーソナライズされた適応的演習問題の課題に対処すること。
• 学生の知識状態と教員が定義した性質（例：難易度、語彙）に応じて、動的にカスタマイズされた演習問題を生成するシステムを開発すること。
• 学生の知識状態に基づいて誘導される言語モデルが、静的またはテンプレートベースの手法よりも質の高い、より効果的な演習問題を生成できるかどうかを評価すること。
• シミュレーションを通じて、パーソナライズされた演習問題の順序付けにより、学習効率を向上させることの能力を実証すること。

提案手法

• 本モデルは、学生の学習履歴から語彙やスキルの習得度の変化を推定するために、特にDKN（Deep Knowledge Tracing）を用いた知識追跡（KT）コンponentを採用する。
• 事前学習された言語モデルを微調整し、学生の現在の推定知識状態と教員が指定した性質（例：ターゲット語彙、難易度レベル）を条件として翻訳ベースの演習問題を生成する。
• 難易度は、学生の予測されたパフォーマンス関数としてモデル化され、期待される誤り回数（例：0.3 から 0.7）によって制御される。
• 本システムは二段階のプロセスを採用する：第一に、KTが過去の相互作用から学生の知識状態を推定する。第二に、言語モデルがその知識状態と望ましい性質に基づいて新しい演習問題を生成する。
• 本モデルは、制御コードを用いたパーソナライズ生成と、知識獲得を最適化する戦略（例：EXPECTIMAX-GEN）を用いた適応的選択戦略の両方をサポートする。
• 本モデルの影響を評価するために、実際のDuolingoの相互作用データを用いたシミュレーションが実施された。

実験結果

リサーチクエスチョン

• RQ1 学生のリアルタイムの知識状態に基づいて誘導される言語モデルが、静的またはテンプレートベースの手法よりも、より効果的でパーソナライズされた演習問題を生成できるか？
• RQ2 知識追跡と制御可能なテキスト生成を統合することで、演習の質と学習成果はどのように向上するか？
• RQ3 本モデルは、学生の知識レベルにどの程度適応可能で、より速い学習を実現するための演習問題の順序を最適化できるか？
• RQ4 固定されたプールから選択するのではなく、新規で未確認の演習問題を生成することで、知識習得がより良くなるか？

主な発見

• 特に EXPECTIMAX-GEN 戦略を用いた本モデルが生成した演習問題は、ランダム選択やプールベースの EXPECTIMAX と比較して、顕著に知識習得が速くなった。
• 同じ数の練習機会において、本モデルが生成した演習問題は、知識状態の向上が顕著に高かったことから、優れた学習効率を示した。
• EXPECTIMAX-GEN が生成した演習問題の約70％がトレーニングコーパスに存在しなかったことから、効果的な新規性とパーソナライズ性が裏付けられた。
• 固定難易度やプール制限付きの戦略よりも、本モデルは優れており、動的で知識に従った生成が、静的または制限付き選択よりも効果的であることが示された。
• シミュレーションにより、本モデルが個々の学習進捗に適応し、最適な難易度レベルを維持できることを確認した。これは「望ましい難易度」の原則（d ≈ 0.5）と整合的であった。
• DKTと制御可能な生成の統合により、パーソナライズ性と適応性の両方が向上し、語彙カバー範囲と難易度のターゲティングの両方を効果的にバランスさせることができた。