[論文レビュー] Towards an Integrative Educational Recommender for Lifelong Learners

Sahan Bulathwela, María Pérez‐Ortiz+2 more|arXiv (Cornell University)|Dec 3, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 13被引用数 7

ひとこと要約

本論文では、学習者知識、コンテンツの新規性、リソース品質、好奇心を統合した、独創的な確率的教育推薦システムTrueLearnを提案する。動的知識と関与度をモデル化するため、TrueSkillアルゴリズムを再定式化することで、0.677のF1スコアを達成し、Vanilla TrueSkill（0.400）やMulti-Skill KT（0.259）といったベースラインを上回った。同時に、解釈可能性とスケーラビリティを維持した。

ABSTRACT

One of the most ambitious use cases of computer-assisted learning is to build a recommendation system for lifelong learning. Most recommender algorithms exploit similarities between content and users, overseeing the necessity to leverage sensible learning trajectories for the learner. Lifelong learning thus presents unique challenges, requiring scalable and transparent models that can account for learner knowledge and content novelty simultaneously, while also retaining accurate learners representations for long periods of time. We attempt to build a novel educational recommender, that relies on an integrative approach combining multiple drivers of learners engagement. Our first step towards this goal is TrueLearn, which models content novelty and background knowledge of learners and achieves promising performance while retaining a human interpretable learner model.

研究の動機と目的

• 多様な背景やモダリティを持つ生涯学習者に対して、パーソナライズされ、魅力的な教育コンテンツを効果的に推薦する課題に対処すること。
• ユーザーの関心や狭義のスキル追跡に限定された既存のシステムの限界を乗り越え、新規性、知識、品質、好奇心といった複数の関与度駆動要因を統合すること。
• 明示的フィードバックに依存せずに、長期的な学習者状態のスケーラブルで透明性のある、データ効率の良いモデリングを可能にすること。
• Wikificationを用いた自動エンティティリンクにより、多言語およびマルチモーダルな学習リソースをサポートすること。
• 学習の道筋の計画と監視を可能にしつつ、学習者にとって解釈可能な透明性を維持するシステムの開発

提案手法

• 暗黙の関与度シグナルを用いて、学習者知識とコンテンツの新規性を動的で確率的な要因としてモデル化するため、TrueSkillアルゴリズムを再定式化する。
• リソースのトピック（d）、現在の知識（k）、新規性（n）、関与度（εℓ）を隠れ変数として統合する確率的グラフィカルモデル（TrueLearn要因グラフ）を構築する。
• 各レクチャーフラグメントから5つの関連性の高いウィキペディアトピックを自動抽出するためにWikificationを用い、多言語およびマルチモーダルなコンテンツ表現を可能にする。
• レクチャートランスクリプトを5,000文字のフラグメント（約5分）に分割し、全リソースではなく知識フラグメントの細分化された推薦を可能にする。
• 関与度を正規化された視聴時間として定義し、オンラインで逐次学習を用いて、時間経過に伴うスケーラブルな学習者表現を維持する。
• 学習者ごとにオンラインでモデルを学習させ、リアルタイムでの適応と長期的な知識追跡を可能にする

実験結果

リサーチクエスチョン

• RQ1 生涯学習の文脈において、知識、新規性、品質、好奇心といった複数の学習者関与度駆動要因を同時に効果的にモデル化するにはどうすればよいか？
• RQ2 解釈可能性とスケーラビリティを維持しつつ、再定式化されたTrueSkillアルゴリズムが動的学習者知識とコンテンツ新規性を効果的にモデル化できるか？
• RQ3 従来の知識トレーシングやIRTモデルと比較して、コンテンツ新規性と背景知識を統合することで、推薦性能がどの程度向上するか？
• RQ4 暗黙の関与度シグナルを用いた実世界の多言語・マルチモーダル環境において、このシステムはどの程度の性能を示すか？
• RQ5 モデルが、メタ認知や学習の道筋計画を支援する透明性があり、人間が解釈可能な学習者表現を提供できるか？

主な発見

• TrueLearnは、VideoLectures.Netデータセット全体で平均F1スコア0.677を達成し、次に優れたベースラインであるNaïve majority（0.640）を顕著に上回った。
• TrueLearnは、Vanilla TrueSkill（0.400）およびMulti-Skill KT（0.259）を上回り、新規性と動的知識モデリングを統合することの有効性を示した。
• 人間が解釈可能な知識空間（ウィキペディアトピックに基づく）とオンライン学習を用いることで、スケーラビリティと透明性を維持した。
• 自動化されたWikificationの使用により、複数の言語とモダリティにわたり、ドメインに依存しない知識コンponentsの抽出がスケーラブルに可能になった。
• 明示的フィードバックを必要とせず、正規化された視聴時間という暗黙の関与度シグナルのみで、複雑な学習者状態を十分に推定できることが示された。
• 複数の関与度駆動要因、特に新規性と知識をモデル化することで、より正確でパーソナライズされた推薦が実現できることを結果が裏付けた。