[论文解读] BloomNet: A Robust Transformer based model for Bloom's Learning Outcome Classification

Abdul Waheed, Muskan Goyal+4 more|arXiv (Cornell University)|Aug 16, 2021

Text and Document Classification Technologies被引用 6

一句话总结

BloomNet 是一种基于 Transformer 的新型模型，通过整合语言和语义特征，将课程学习成果分类至布卢姆教育目标分类法的六个认知层次。该模型在分布内数据上实现了最先进的性能（宏平均 F1 达 87.23%），并展现出卓越的分布外泛化能力，优于 RoBERTa 和 DistilRoBERTa 等强基线模型，且在分布偏移场景下表现稳健。

ABSTRACT

Bloom taxonomy is a common paradigm for categorizing educational learning objectives into three learning levels: cognitive, affective, and psychomotor. For the optimization of educational programs, it is crucial to design course learning outcomes (CLOs) according to the different cognitive levels of Bloom Taxonomy. Usually, administrators of the institutions manually complete the tedious work of mapping CLOs and examination questions to Bloom taxonomy levels. To address this issue, we propose a transformer-based model named BloomNet that captures linguistic as well semantic information to classify the course learning outcomes (CLOs). We compare BloomNet with a diverse set of basic as well as strong baselines and we observe that our model performs better than all the experimented baselines. Further, we also test the generalization capability of BloomNet by evaluating it on different distributions which our model does not encounter during training and we observe that our model is less susceptible to distribution shift compared to the other considered models. We support our findings by performing extensive result analysis. In ablation study we observe that on explicitly encapsulating the linguistic information along with semantic information improves the model on IID (independent and identically distributed) performance as well as OOD (out-of-distribution) generalization capability.

研究动机与目标

• 自动化将课程学习成果（CLOs）分类至布卢姆教育目标分类法的认知层次，以减少课程设计中的手动工作量。
• 通过提升模型在分布外（OOD）数据上的泛化能力，增强模型鲁棒性，这在现实世界教育 NLP 应用中十分常见。
• 探究语言特征（如词性标注和命名实体识别）与语义表征相结合对提升分类性能的贡献。
• 评估最先进 Transformer 模型在教育领域中的有效性，特别是针对认知领域分类任务。
• 填补教育 NLP 领域中多领域、跨数据集泛化能力在布卢姆教育目标分类任务中的空白。

提出的方法

• BloomNet 采用基于 RoBERTa 的语言编码器，从 CLO 文本中捕捉深层上下文语义。
• 引入语言封装模块，处理词性（POS）和命名实体识别（NER）特征，以增强句法与语义输入。
• 应用分层词注意力机制，聚焦于与认知层次分类相关的关键词和短语。
• 在两个分别包含 600 和 141 个样本的数据集上进行端到端微调，并采用交叉验证以确保稳定性。
• 通过在训练期间未见的数据分布上进行分布外泛化测试，评估模型鲁棒性。
• 消融研究分离了词注意力与语言封装模块的贡献，以评估其对分布内与分布外性能的影响。

实验结果

研究问题

• RQ1 基于 Transformer 的模型能否有效将课程学习成果分类至布卢姆教育目标分类法的六个认知层次？
• RQ2 与纯语义建模相比，整合语言特征（POS、NER）在提升分类准确率和分布外泛化能力方面有何改进？
• RQ3 预训练的 Transformer 模型（如 RoBERTa）在教育成果分类背景下，是否能在分布外数据上实现良好泛化？
• RQ4 词级别注意力与语言特征封装模块对模型性能与鲁棒性的相对贡献如何？
• RQ5 与 CNN、LSTM 及其他 Transformer 模型等强基线相比，BloomNet 在性能与泛化能力方面表现如何？

主要发现

• BloomNet 在分布内（IID）数据上取得 87.23% 的宏平均 F1 分数，显著优于 RoBERTa（81.67%）及其他基线模型。
• 消融研究证实，结合词注意力与语言封装模块可实现最高性能，相比 RoBERTa 提升了 5.56 个百分点的宏平均 F1。
• 在 IID 数据上表现更优的模型（包括 BloomNet 和预训练 Transformer 模型）也展现出更强的 OOD 泛化能力，尽管所有预训练模型在 OOD 数据上均出现约 20% 的性能下降。
• 语言封装模块提升了 OOD 泛化能力，表明句法与命名实体特征有助于模型超越表面统计线索进行泛化。
• 仅使用词注意力相比 RoBERTa 可将宏平均 F1 提升约 2.1%，表明聚焦关键词汇元素可增强分类性能。
• 尽管数据集规模较小（分别为 600 和 141 个样本），BloomNet 在交叉验证中仍保持一致的性能，表明其在小样本条件下的稳定性。