[论文解读] Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space

Ruijie Jiang, Julia Gouvea+3 more|arXiv (Cornell University)|Nov 26, 2020

Topic Modeling参考文献 33被引用 5

一句话总结

该论文提出了一种在Wasserstein空间中的对比表示学习框架，用于自动评分学生生物学实验报告的论证复杂度。通过结合biLSTM和CNN编码器与对比学习，该方法在Quadratic Weighted Kappa (QWK) 上达到0.645，接近人类评分者间的一致性（QWK = 0.839），展示了在使用NLP扩展定性学习科学研究方面的强大潜力。

ABSTRACT

Qualitative analysis of verbal data is of central importance in the learning sciences. It is labor-intensive and time-consuming, however, which limits the amount of data researchers can include in studies. This work is a step towards building a statistical machine learning (ML) method for achieving an automated support for qualitative analyses of students' writing, here specifically in score laboratory reports in introductory biology for sophistication of argumentation and reasoning. We start with a set of lab reports from an undergraduate biology course, scored by a four-level scheme that considers the complexity of argument structure, the scope of evidence, and the care and nuance of conclusions. Using this set of labeled data, we show that a popular natural language modeling processing pipeline, namely vector representation of words, a.k.a word embeddings, followed by Long Short Term Memory (LSTM) model for capturing language generation as a state-space model, is able to quantitatively capture the scoring, with a high Quadratic Weighted Kappa (QWK) prediction score, when trained in via a novel contrastive learning set-up. We show that the ML algorithm approached the inter-rater reliability of human analysis. Ultimately, we conclude, that machine learning (ML) for natural language processing (NLP) holds promise for assisting learning sciences researchers in conducting qualitative studies at much larger scales than is currently possible.

研究动机与目标

• 开发一种机器学习方法，以自动化科学教育中学生写作的定性编码，减少对耗时的人工编码的依赖。
• 解决评估学生实验报告中论证复杂度的挑战，这需要超越关键词匹配的上下文理解。
• 评估在小样本、细微差异的写作评估数据集上，Wasserstein空间中的对比表示学习是否能提升模型性能。
• 评估模型预测是否与人类共识一致，并能识别出模糊或临界情况以供重新评估。

提出的方法

• 该方法采用Wasserstein空间中的对比学习设置，从带标签的实验报告中学习有意义的文本表示。
• 使用词嵌入对文本进行编码，随后采用biLSTM或CNN架构作为序列编码器，以捕捉上下文和结构特征。
• 模型使用对比损失函数进行训练，该函数促使相同分数的样本在嵌入空间中彼此接近，而不同分数的样本则彼此远离。
• 通过在学习到的表示上使用k-最近邻（KNN）进行预测，避免端到端微调。
• 该框架设计为与特征无关，无需手动特征工程，且在小样本数据集上也表现有效。

实验结果

研究问题

• RQ1 在Wasserstein空间中进行对比表示学习是否能有效捕捉学生实验报告中论证质量的细微差异？
• RQ2 所提出的模型与现有NLP模型（如c-rater-ML）相比，在评分论证复杂度方面表现如何？
• RQ3 机器学习预测与人类共识的一致程度如何，特别是在临界或低分案例中？
• RQ4 模型能否识别出人类编码中存在不一致或模糊的报告，从而提示人工复核？

主要发现

• CoReL-W+CNN模型取得了最高的QWK得分0.645，优于基线模型，包括c-rater-ML（得分为0.0）。
• biLSTM和CoReL-W+biLSTM模型的QWK得分分别为0.61和0.628，表明与人类编码者之间存在中等到高度一致。
• 该模型在预测Level 1报告方面表现尤为困难，可能由于类别不平衡（146份报告中仅有12份被标记为Level 1）。
• 在重新编码过程中，9份ML预测与原始人类评分不同的报告中有4份被修订为更接近ML预测，表明ML能够标记出模糊或不一致的案例。
• 重新编码过程中人类编码者间的QWK为0.701，表明该子集具有挑战性，但模型性能依然稳健。
• 结果表明，所提出的方法可通过极少的特征工程实现高可靠性，从而支持大规模定性研究。