[论文解读] An Identification of Learners' Confusion through Language and Discourse Analysis

Thushari Atapattu, Katrina Falkner+3 more|arXiv (Cornell University)|Mar 8, 2019

Intelligent Tutoring Systems and Adaptive Learning参考文献 37被引用 4

一句话总结

本文提出了一种新颖的语言与话语分析方法，用于在MOOC中识别学习者困惑，通过自定义的语言特征集对困惑进行分类，而无需依赖社区指标或生理传感器。该方法在跨领域泛化方面表现优异，通过纯文本分析捕捉个体层面的情感状态，优于先前的模型。

ABSTRACT

The substantial growth of online learning, in particular, Massively Open Online Courses (MOOCs), supports research into the development of better models for effective learning. Learner 'confusion' is among one of the identified aspects which impacts the overall learning process, and ultimately, course attrition. Confusion for a learner is an individual state of bewilderment and uncertainty of how to move forward. The majority of recent works neglect the 'individual' factor and measure the influence of community-related aspects (e.g. votes, views) for confusion classification. While this is a useful measure, as the popularity of one's post can indicate that many other students have similar confusion regarding course topics, these models neglect the personalised context, such as individual's affect or emotions. Certain physiological aspects (e.g. facial expressions, heart rate) have been utilised to classify confusion in small to medium classrooms. However, these techniques are challenging to adopt to MOOCs. To bridge this gap, we propose an approach solely based on language and discourse aspects of learners, which outperforms the previous models. We contribute through the development of a novel linguistic feature set that is predictive for confusion classification. We train the confusion classifier using one domain, successfully applying it across other domains.

研究动机与目标

• 解决现有困惑检测模型忽视MOOC中学习者个体情感与情绪的缺陷。
• 开发一种可扩展的语言仅分析方法，用于检测困惑，且不依赖于投票或浏览量等社区层面信号。
• 创建一组预测学习者生成文本中困惑的新颖语言与话语特征。
• 通过单一训练、多领域泛化策略，在不同课程领域实现有效的困惑分类。

提出的方法

• 作者设计了一套自定义语言特征集，用于捕捉学习者帖子中的句法复杂性、词汇多样性、缓和语用和话语标记。
• 从MOOC的学习者论坛帖子中提取文本特征，重点关注不确定、犹豫和话语不连贯的表达。
• 使用所提出的语言特征，在一个课程领域上训练有监督的机器学习分类器，以预测困惑状态。
• 通过零样本跨领域泛化评估模型，将一个课程上训练的模型应用于预测无关课程中的困惑。
• 该方法避免依赖生理传感器或社区参与度指标，仅聚焦于语言线索。
• 在多个MOOC中验证了该框架，证明了语言特征的鲁棒性与可迁移性。

实验结果

研究问题

• RQ1 仅依靠语言与话语特征，是否能有效识别MOOC中学习者的困惑，而无需社区或生理数据？
• RQ2 在某一课程领域上训练的困惑分类器，能否在其他无关课程领域中实现良好泛化？
• RQ3 在开放在线学习环境中，哪些具体的语言特征最能预测学习者的困惑？
• RQ4 所提出的模型在多大程度上优于依赖社区信号或传感器数据的现有困惑检测方法？

主要发现

• 与依赖社区指标的基线模型相比，所提出的语言特征集显著提升了困惑检测性能。
• 该模型实现了强大的跨领域泛化能力，成功将单一训练模型应用于多种不同主题的课程中进行困惑预测。
• 表现出犹豫、词汇简化和话语不确定性特征的学习者帖子，是困惑的强烈指标。
• 该方法在领域特定和零样本跨领域设置中均优于现有方法，证明了个体化文本分析的价值。