[论文解读] Joint Topic Modeling and Factor Analysis of Textual Information and Graded Response Data

Andrew Lan, Christoph Studer+2 more|arXiv (Cornell University)|May 8, 2013

Text and Document Classification Technologies被引用 7

一句话总结

本文提出 SPARFA-Top，一种联合主题建模与因子分析框架，通过整合问题与回答中的文本信息及二值化评分的学情响应，联合估计潜在概念、问题-概念关联以及学习者知识画像。通过使用泊松分布建模词频并采用块坐标下降法，SPARFA-Top 通过自动生成的关键词摘要提升可解释性，并在无需人工标注的情况下，提升 SPARFA 的预测性能。

ABSTRACT

Modern machine learning methods are critical to the development of large-scale personalized learning systems that cater directly to the needs of individual learners. The recently developed SPARse Factor Analysis (SPARFA) framework provides a new statistical model and algorithms for machine learning-based learning analytics, which estimate a learner's knowledge of the latent concepts underlying a domain, and content analytics, which estimate the relationships among a collection of questions and the latent concepts. SPARFA estimates these quantities given only the binary-valued graded responses to a collection of questions. In order to better interpret the estimated latent concepts, SPARFA relies on a post-processing step that utilizes user-defined tags (e.g., topics or keywords) available for each question. In this paper, we relax the need for user-defined tags by extending SPARFA to jointly process both graded learner responses and the text of each question and its associated answer(s) or other feedback. Our purely data-driven approach (i) enhances the interpretability of the estimated latent concepts without the need of explicitly generating a set of tags or performing a post-processing step, (ii) improves the prediction performance of SPARFA, and (iii) scales to large test/assessments where human annotation would prove burdensome. We demonstrate the efficacy of the proposed approach on two real educational datasets.

研究动机与目标

• 消除在学习分析中解释潜在概念时对人工标注问题标签的依赖。
• 通过自动关联问题与回答文本中的有意义关键词，提升 SPARFA 所估计潜在概念的可解释性。
• 通过联合利用文本与响应数据，提升学习者响应建模的预测准确性。
• 将个性化学习分析扩展至大规模测评场景，其中人工标注不切实际。
• 开发一种完全基于数据的框架，同时估计知识画像、问题难度与概念-问题关联。

提出的方法

• 通过引入一个主题模型扩展 SPARFA 框架，将问题与回答文本中的词频视为泊松分布的随机变量。
• 采用联合优化目标，通过块坐标下降算法联合结合二值响应建模与主题建模。
• 估计四个关键组件：问题-概念关联、学习者概念知识画像、问题难度以及特定概念的关键词列表。
• 应用软阈值投影与回溯线搜索，实现具有非负性与稀疏性约束的高效优化。
• 通过精度参数 τ 将文本信息整合至 SPARFA 模型，其中 τ→∞ 对应原始 SPARFA 模型。
• 采用计算高效的算法，可扩展至大规模教育数据集，且无需人工标注。

实验结果

研究问题

• RQ1 在不依赖人工标签的前提下，问题与回答中的文本信息能否提升学习分析中潜在概念的可解释性？
• RQ2 联合建模文本内容与二值响应数据，对 SPARFA 的预测性能有何影响？
• RQ3 数据驱动的主题模型能否自动为潜在概念生成有意义的关键词摘要？
• RQ4 在未关联问题中，文本信息在多大程度上能提升对问题-概念关联的识别能力？
• RQ5 SPARFA-Top 在稀疏且不完整的响应数据下，能否有效扩展至真实世界教育数据集？

主要发现

• 在 STEMscopes 与代数测试数据集上，SPARFA-Top 在预测性能上均优于 SPARFA，且在保留数据上的似然度有微小但稳定的提升。
• 该框架成功将所有问题与至少一个概念关联，包括在 SPARFA 中曾被识别为未关联的问题。
• SPARFA-Top 自动为每个潜在概念生成可解释的关键词摘要，例如地球科学概念的关键词为 'Water'（水）、'Plants'（植物）、'Energy'（能量），代数概念的关键词为 'Fractions'（分数）、'Solving equations'（解方程）、'Trigonometry'（三角学）。
• 文本数据的引入使模型无需任何人工标注即可恢复概念含义，显著提升可解释性。
• 模型在 20% 保留响应数据上表现出更好的泛化能力，最优性能出现在有限 τ 值时，表明文本信息增加了有用的结构。
• 该框架能有效扩展至大规模测评，适用于实时、大规模个性化学习系统。