[論文レビュー] Joint Topic Modeling and Factor Analysis of Textual Information and Graded Response Data

Andrew Lan, Christoph Studer+2 more|arXiv (Cornell University)|May 8, 2013

Text and Document Classification Technologies被引用数 7

ひとこと要約

本稿では、質問と回答のテキスト情報を、二値の得点付き学習者反応と統合することで、潜在的概念、質問–概念関連、学習者知識プロファイルを共同で推定する、共同トピックモデリングおよび要因分析フレームワークであるSPARFA-Topを提案する。語の出現をポアソン分布でモデル化し、ブロック座標降下法を用いることで、自動生成されたキーワード要約による解釈可能性の向上と、手動タグの必要がないSPARFAより優れた予測性能を実現する。

ABSTRACT

Modern machine learning methods are critical to the development of large-scale personalized learning systems that cater directly to the needs of individual learners. The recently developed SPARse Factor Analysis (SPARFA) framework provides a new statistical model and algorithms for machine learning-based learning analytics, which estimate a learner's knowledge of the latent concepts underlying a domain, and content analytics, which estimate the relationships among a collection of questions and the latent concepts. SPARFA estimates these quantities given only the binary-valued graded responses to a collection of questions. In order to better interpret the estimated latent concepts, SPARFA relies on a post-processing step that utilizes user-defined tags (e.g., topics or keywords) available for each question. In this paper, we relax the need for user-defined tags by extending SPARFA to jointly process both graded learner responses and the text of each question and its associated answer(s) or other feedback. Our purely data-driven approach (i) enhances the interpretability of the estimated latent concepts without the need of explicitly generating a set of tags or performing a post-processing step, (ii) improves the prediction performance of SPARFA, and (iii) scales to large test/assessments where human annotation would prove burdensome. We demonstrate the efficacy of the proposed approach on two real educational datasets.

研究の動機と目的

• 学習分析における潜在的概念の解釈に、手動で付与された質問タグに依存しないようにすること。
• SPARFAが推定する潜在的概念の解釈可能性を、質問および回答のテキストから自動的に関連付ける意味のあるキーワードを生成することで向上させること。
• テキストデータと反応データを共同で活用することで、学習者反応モデリングの予測精度を向上させること。
• 人為的タグ付けが非現実的となる大規模な評価にまで、パーソナライズド・ラーニング分析をスケーリングすること。
• 知識プロファイル、問題の難易度、概念–問題関連を同時に推定する、完全にデータ駆動型のフレームワークを開発すること。

提案手法

• 質問および回答のテキストにおける語の出現をポアソン分布に従う確率変数として扱うトピックモデルを組み込んだSPARFAフレームワークの拡張。
• ブロック座標降下法を用いて、二値反応モデリングとトピックモデリングを統合した共同最適化目的関数を実装。
• 4つの主要な構成要素を推定する：問題–概念関連、学習者概念知識プロファイル、問題の難易度、概念固有のキーワードリスト。
• 非負性およびスパarsity制約を満たすために、ソフトスレッショルド投影とバックトラックラインサーチを用いて効率的な最適化を実現。
• 精度パrameter τを介してテキスト情報をSPARFAモデルに統合し、τ→∞の極限では元のSPARFAモデルに対応する。
• 手動タグの必要がない大規模な教育データセットにスケーリング可能な、計算的に効率的なアルゴリズムを採用。

実験結果

リサーチクエスチョン

• RQ1 手動タグに依存せずに、質問および回答のテキスト情報が学習分析における潜在的概念の解釈可能性を向上させられるか？
• RQ2 テキストコンテンツと二値反応データを共同でモデリングすることで、SPARFAの予測性能にどのような影響を与えるか？
• RQ3 データ駆動型のトピックモデルが、潜在的概念に対して意味のあるキーワード要約を自動生成できるか？
• RQ4 特に、以前は関連づけられていなかった問題について、テキストの統合が問題–概念関連の同定にどの程度寄与するか？
• RQ5 SPARFA-Topは、スパースで不完全な反応データを含む実世界の教育データセットにどの程度スケーリングできるか？

主な発見

• SPARFA-Topは、STEMscopesおよび代数テストの両データセットにおいて、SPARFAよりも予測性能が向上し、ホールドアウトデータにおける尤度にわずかだが一貫した向上が見られた。
• 本フレームワークは、以前SPARFAで関連づけられていなかった問題を含め、すべての問題に対して少なくとも1つの概念に関連づけることに成功した。
• SPARFA-Topは、各潜在的概念に対して解釈可能なキーワード要約を自動生成し、例えば地球科学的概念については「Water」（水）、「Plants」（植物）、「Energy」（エネルギー）を、代数的概念については「Fractions」（分数）、「Solving equations」（方程式の解法）、「Trigonometry」（三角関数）といったキーワードを生成した。
• テキスト情報の統合により、手動タグなしで概念の意味を回復可能となり、解釈可能性が著しく向上した。
• 20%ホールドアウト反応データにおいても、最適な性能が有限のτ値で観察されたため、テキスト情報が有用な構造を追加することが示された。
• 本フレームワークは大規模な評価に効果的にスケーリング可能であり、リアルタイムで大規模なパーソナライズド・ラーニング・システムに適している。