[論文レビュー] A Multivariate Elo-based Learner Model for Adaptive Educational Systems

Solmaz Abdi, Hassan Khosravi+2 more|arXiv (Cornell University)|Oct 15, 2019

Online Learning and Analytics被引用数 10

ひとこと要約

本稿では、複数の概念にタグ付けされた学習項目を扱えるように伝統的なEloレーティングシステムを拡張した多変量Eloベースの学習者モデル、M-Eloを提案する。このモデルは、学生中心の学習環境における適応性の向上を可能にする。合成データおよび公開データセットを用いた評価において、M-Eloは標準的なEloよりもわずかに優れた予測性能を示し、オープン学習者モデル（OLM）に統合された際には、学生および教員の両方に対するより洗練された洞察を提供する。

ABSTRACT

The Elo rating system has been recognised as an effective method for modelling students and items within adaptive educational systems. The existing Elo-based models have the limiting assumption that items are only tagged with a single concept and are mainly studied in the context of adaptive testing systems. In this paper, we introduce a multivariate Elo-based learner model that is suitable for the domains where learning items can be tagged with multiple concepts, and investigate its fit in the context of adaptive learning. To evaluate the model, we first compare the predictive performance of the proposed model against the standard Elo-based model using synthetic and public data sets. Our results from this study indicate that our proposed model has superior predictive performance compared to the standard Elo-based model, but the difference is rather small. We then investigate the fit of the proposed multivariate Elo-based model by integrating it into an adaptive learning system which incorporates the principles of open learner models (OLMs). The results from this study suggest that the availability of additional parameters derived from multivariate Elo-based models have two further advantages: guiding adaptive behaviour for the system and providing additional insight for students and instructors.

研究の動機と目的

• 既存のEloベースのモデルが単一の概念にタグ付けされた項目を仮定しており、主に適応型テストに使用されるのに対し、適応型学習にはあまり適用されていないという限界に対処すること。
• 複数の概念にわたる学生の習得度と項目の難易度を同時に推定できる多変量学習者モデルの開発。
• 合成データおよび公開データセットを用いて、提案されたM-Eloモデルの予測性能を標準Eloと比較して評価すること。
• M-Eloが実世界の適応型学習システムにおいて実用的な利点をもたらすかを調査すること、特に適応性のガイドラインとオープン学習者モデル（OLMs）の支援に関して。
• Eloベースのモデルが長期的適応型学習の文脈において抱える限界、特にゼロサムダイナミクスと不確実性関数に関する問題を特定すること。

提案手法

• 学習項目が複数の概念に関連付けられ、各概念が独自の習得度と難易度レーティングを持つ多変量フレームワークに、標準Eloレーティングシステムを拡張する。
• 学生が多概念項目に対して正答したかどうかと、相対的な難易度に基づいて、各個別概念のレーティングを更新するペアワイズ比較メカニズムを採用する。
• 試行回数が増えるに従って更新の感度を低下させる動的不確実性関数を適用し、時間経過に伴う推定値の安定化を図る。
• M-Eloを適応型学習システムに統合し、学生と教員が概念レベルでのレーティングを可視化できるオープン学習者モデル（OLMs）を支援する。
• 標準Elo式に基づく再帰的更新ルールを採用し、項目の難易度に寄与する各概念の割合に応じて、レーティング変更を比例配分するように修正する。
• パrameter設定の多様性をテストするための合成データを用いたモデルの妥当性検証と、予測精度を評価するための公開データセットを用いた検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 多変量Eloベースのモデルは、適応型学習システムにおいて、複数の概念にわたる学生の習得度と項目の難易度を効果的にモデル化できるか？
• RQ2 M-Eloの予測性能は、合成データおよび実世界のデータセットにおいて、標準Eloベースのモデルと比較してどうなるか？
• RQ3 M-Eloが適応型学習システムに統合された際、予測精度を超えた追加的な利点は何か？
• RQ4 ゼロサムゲーム仮定と不確実性関数は、長期的適応型学習におけるモデルの適合性にどのように影響するか？
• RQ5 M-Eloは、学生および教員に有用なインサイトを提供することで、オープン学習者モデル（OLMs）をどの程度サポートできるか？

主な発見

• 合成データ実験において、M-Eloはさまざまなパrameter設定で一貫した期待通りの挙動を示し、実運用環境における堅牢性を示した。
• 公開ベンチマークデータセットにおいて、M-Eloは標準Eloモデルよりもわずかに優れた予測性能を示したが、その向上は限定的であった。
• 適応型学習システムに統合された際、M-Eloは概念レベルの習得度推定を可能にし、個々の概念の習得状況に基づいた項目選択を通じてシステムの適応性を高めた。
• オープン学習者モデルを通じたM-Eloレーティングの可視化により、学生の動機付けとシステムの推奨事項に対する信頼感が向上した。
• 教員からのフィードバックでは、M-Eloがクラス全体および個別レベルでの知識ギャップを特定する有用なインサイトを提供しており、特に「Map-ER-Schema」と「Map-Schema-ER」の概念での成績不振を明確に浮き彫りにした。
• 本研究では、Eloベースのモデルにおけるゼロサムゲーム設計と不確実性関数が、長期的適応型学習における進化する知識状態の正確な表現を妨げることが判明し、このような文脈においてはこれらのモデルの限界が示された。