[論文レビュー] Tag-Aware Ordinal Sparse Factor Analysis for Learning and Content Analytics

Andrew Lan, Christoph Studer+2 more|arXiv (Cornell University)|Dec 18, 2014

Online Learning and Analytics参考文献 28被引用数 6

ひとこと要約

本稿では、順序（部分的得点）の学習者反応をモデル化し、インstructerが提供する問題タグを活用することで、学習およびコンテンツ分析における解釈可能性と予測精度を向上させる、SPARFAフレームワークの新規拡張であるOrdinal SPARFA-Tagを提案する。順序反応モデリングとタグに配慮したスパース因子分析を統合することで、本手法は欠損反応の予測において、SPARFAおよび最先端の協調フィルタリング手法を上回り、解釈可能な概念-問題関連性を生成する。

ABSTRACT

Machine learning offers novel ways and means to design personalized learning systems wherein each student's educational experience is customized in real time depending on their background, learning goals, and performance to date. SPARse Factor Analysis (SPARFA) is a novel framework for machine learning-based learning analytics, which estimates a learner's knowledge of the concepts underlying a domain, and content analytics, which estimates the relationships among a collection of questions and those concepts. SPARFA jointly learns the associations among the questions and the concepts, learner concept knowledge profiles, and the underlying question difficulties, solely based on the correct/incorrect graded responses of a population of learners to a collection of questions. In this paper, we extend the SPARFA framework significantly to enable: (i) the analysis of graded responses on an ordinal scale (partial credit) rather than a binary scale (correct/incorrect); (ii) the exploitation of tags/labels for questions that partially describe the question{concept associations. The resulting Ordinal SPARFA-Tag framework greatly enhances the interpretability of the estimated concepts. We demonstrate using real educational data that Ordinal SPARFA-Tag outperforms both SPARFA and existing collaborative filtering techniques in predicting missing learner responses.

研究の動機と目的

• 個人化された学習システムにおける二値反応モデリングの限界を克服し、順序（部分的得点）の学習者反応を分析可能にする。
• 教員が提供するタグを構造的事前知識として組み込むことで、学習された概念-問題関連性の解釈可能性を向上させる。
• 疎な順序反応データから、学習者概念知識、問題難易度、概念-問題関連性を同時に推定する。
• 未観測の学習者反応を予測する際、既存の協調フィルタリングおよびSPARFAベースの手法を上回ること。
• 事前に指定されたタグを超えた、新たなデータ駆動型の概念-問題関連性を発見すること。

提案手法

• 隠れ連続反応とビン境界を用いて、観測されたスコアが決定される順序しきい値を備えた潜在変数モデルを用いて、順序反応をモデル化するSPARFAフレームワークの拡張。
• 潜在反応 $ Z_{i,j} = \mathbf{w}_i^T \mathbf{c}_j + \mu_i $ が、確率的モデルで量子化 $ Y_{i,j} = \mathcal{Q}(Z_{i,j} + \epsilon_{i,j}) $ を通じて順序スコアにマッピングされる。
• 解釈可能なスパース因子分解を保証するため、概念-問題関連性行列 $ \mathbf{W} $ に非負性およびスパarsity制約を課す。
• 教員が提供するタグを構造的事前知識として組み込み、概念-問題関連性の推定を支援し、解釈可能性を向上させる。
• 非凸最適化問題を解くために、$ \mathbf{W}, \mathbf{C}, \boldsymbol{\mu}, \mathbf{B} $（ビン境界）および精度パラメータの間でブロック座標降下と交互最適化を採用する。
• 一般化および予測性能を向上させるために、学習者概念知識行列 $ \mathbf{C} $ にノルム正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 順序（部分的得点）反応をモデル化することで、学習分析における二値反応モデルに比べて予測精度が向上するか？
• RQ2 教員が提供するタグを組み込むことで、因子分析における学習された概念-問題関連性の解釈可能性はどのように向上するか？
• RQ3 本モデルは、事前に指定されたタグを超えた、新たなデータ駆動型の概念-問題関連性を発見できるか？
• RQ4 順序反応モデリングとタグに配慮したスパース性の統合は、既存の協調フィルタリング手法を上回るか、欠損反応の予測において優れた性能を示すか？
• RQ5 異なる正則化およびビン境界学習戦略は、モデルの性能および解釈可能性にどのように影響するか？

主な発見

• Ordinal SPARFA-Tagは、実世界のデータセットにおいて、SPARFAおよび既存の協調フィルタリング手法（SVD++およびOrdRec）に比べ、欠損順序反応の予測において顕著に優れている。
• 機械的トルク代数テストデータセットにおいて、すべての比較手法よりも低い平均二乗誤差を達成し、優れた予測性能を示している。
• 共有または問題ごとのビン境界を学習するモデルの変種は、ほぼ同一の性能を示しており、ビン境界の指定に頑健であることが示された。
• 学習者概念行列 $ \mathbf{C} $ にノルム正則化を組み込むことで、最先端の協調フィルタリング手法を上回る予測精度が達成された。
• 本手法は、初期のタグ情報に存在しない新たな解釈可能な概念-問題関連性を効果的に発見し、モデルの適応性を向上させた。
• タグに配慮したモデリングにより、学習者および教員向けの解釈可能なフィードバックが可能となり、パーソナライズドレコメンデーションおよびコンテンツ改善を支援する。