[論文レビュー] Time-varying Learning and Content Analytics via Sparse Factor Analysis

Andrew Lan, Christoph Studer+1 more|arXiv (Cornell University)|Dec 19, 2013

Online Learning and Analytics参考文献 31被引用数 1

ひとこと要約

SPARFA-Traceは、二値の応答データおよび活動ログから、学習者の進化する概念的知識、問題–概念関連性、および問題の難易度を共同で推定する、盲目的でメッセージパッシングに基づく近似カルマンフィルタを提案する。この手法は、未観測の応答を予測する際、最先端の性能を達成するとともに、知識の進化の動的追跡およびリソースの質の評価を可能にする。

ABSTRACT

We propose SPARFA-Trace, a new machine learning-based framework for time-varying learning and content analytics for education applications. We develop a novel message passing-based, blind, approximate Kalman filter for sparse factor analysis (SPARFA), that jointly (i) traces learner concept knowledge over time, (ii) analyzes learner concept knowledge state transitions (induced by interacting with learning resources, such as textbook sections, lecture videos, etc, or the forgetting effect), and (iii) estimates the content organization and intrinsic difficulty of the assessment questions. These quantities are estimated solely from binary-valued (correct/incorrect) graded learner response data and a summary of the specific actions each learner performs (e.g., answering a question or studying a learning resource) at each time instance. Experimental results on two online course datasets demonstrate that SPARFA-Trace is capable of tracing each learner's concept knowledge evolution over time, as well as analyzing the quality and content organization of learning resources, the question-concept associations, and the question intrinsic difficulties. Moreover, we show that SPARFA-Trace achieves comparable or better performance in predicting unobserved learner responses than existing collaborative filtering and knowledge tracing approaches for personalized education.

研究の動機と目的

• 既存のパーソナライズド学習システムにおける静的知識状態の仮定の限界を克服し、時間的に変化する学習者の概念的知識をモデル化すること。
• 二値の正誤応答と学習者活動ログという最小限のデータ入力から、学習者の知識の進化、コンテンツの構成、問題の難易度を共同で推定できること。
• 学習と忘却のダイナミクスを正確にモデル化することで、リアルタイムで適応的な推薦を可能にする、パーソナライズド教育を支援すること。

提案手法

• 時間的に変化する学習者知識状態を扱うために、スパース要因分析（SPARFA）に基づくメッセージパッシングによる近似カルマンフィルタを開発する。
• 応答をプロビットリンク関数でモデル化し、正答性が潜在的な概念的知識、問題–概念関連性、および問題の難易度に依存するように設定する。
• 学習者活動行列（例：リソースの学習）を入力として取り入れ、学習や忘却による知識状態の遷移をモデル化する。
• モーメントマッチングを用いて概念的知識の事後分布を近似し、推論の計算可能性を高めるためにKLダイバージェンスを最小化する。
• 推定された知識状態を時間的に分析することで、コンテンツパラメータ（例：リソースの質、問題の難易度）を推定する。
• 真の知識ラベルが不要な、ブラインドで教師なしのフレームワークを採用し、二値の応答データと活動ログのみを必要とする。

実験結果

リサーチクエスチョン

• RQ1 二値の応答データと活動ログのみを用いて、機械学習フレームワークが時間経過に伴う個別学習者の知識の進化を共同で追跡できるか。
• RQ2 このようなフレームワークは、評価問題および学習リソースの内在的な難易度とコンテンツ構成をどの程度正確に推定できるか。
• RQ3 既存の協調フィルタリングおよび知識トレーシング手法と比較して、未観測の学習者応答を予測する際、どの程度の精度を示すか。
• RQ4 このフレームワークは、リソースからの学習と時間経過による忘却の影響をどの程度よくモデル化できるか。
• RQ5 事前にアノテーションが与えられていない状況でも、フレームワークは自動的に問題–概念関連性およびリソースのコンテンツ構造を推定できるか。

主な発見

• SPARFA-Traceは、2つのオンラインコースデータセットにおいて、既存の協調フィルタリングおよび知識トレーシング手法と同等またはそれ以上の性能を示し、未観測の学習者応答を予測する。
• フレームワークは、個別学習者の概念的知識の時間的進化を成功裏に追跡し、学習の向上と忘却の影響を捉えている。
• 問題–概念関連性および内在的な問題難易度を正確に推定でき、評価設計およびコンテンツ構造に関する洞察を提供する。
• 知識状態の遷移に与える影響に基づき、教科書の章や動画などの学習リソースのコンテンツ構成と質をモデルが推定する。
• メッセージパッシングに基づく近似カルマンフィルタリングの使用により、最小限のデータ要件で大規模教育データに対して効率的かつスケーラブルな推論が可能になる。
• 実験的結果は、フレームワークが、進化する学習者状態に基づく動的でデータ駆動型の推薦を可能にすることで、パーソナライズド教育を支援できることを示している。