[论文解读] Joint Multi-Domain Learning for Automatic Short Answer Grading

Swarnadeep Saha, Tejas I. Dhamecha+4 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 34被引用 6

一句话总结

本文提出 JMD-ASAG，一种用于自动短答案评分的联合多领域深度学习架构，能够在不依赖大规模外部语料库的情况下，同时学习通用语言特征和领域特定的相似性模式。通过在有限的任务特定数据上端到端联合训练领域特定和通用分类器，该模型在基准数据集和工业数据集上均取得了最先进性能，优于所有领域特定和迁移学习基线模型。

ABSTRACT

One of the fundamental challenges towards building any intelligent tutoring system is its ability to automatically grade short student answers. A typical automatic short answer grading system (ASAG) grades student answers across multiple domains (or subjects). Grading student answers requires building a supervised machine learning model that evaluates the similarity of the student answer with the reference answer(s). We observe that unlike typical textual similarity or entailment tasks, the notion of similarity is not universal here. On one hand, para-phrasal constructs of the language can indicate similarity independent of the domain. On the other hand, two words, or phrases, that are not strict synonyms of each other, might mean the same in certain domains. Building on this observation, we propose JMD-ASAG, the first joint multidomain deep learning architecture for automatic short answer grading that performs domain adaptation by learning generic and domain-specific aspects from the limited domain-wise training data. JMD-ASAG not only learns the domain-specific characteristics but also overcomes the dependence on a large corpus by learning the generic characteristics from the task-specific data itself. On a large-scale industry dataset and a benchmarking dataset, we show that our model performs significantly better than existing techniques which either learn domain-specific models or adapt a generic similarity scoring model from a large corpus. Further, on the benchmarking dataset, we report state-of-the-art results against all existing non-neural and neural models.

研究动机与目标

• 解决智能辅导系统中多领域自动短答案评分（ASAG）的挑战。
• 克服现有 ASAG 模型依赖大规模外部语料库或在领域间泛化能力不足的局限性。
• 开发一种统一的深度学习架构，从有限的任务特定数据中联合学习领域特定和通用语言特征。
• 通过直接从任务数据中学习通用语言特征，消除对预训练通用语言模型的依赖。

提出的方法

• JMD-ASAG 采用双分支神经网络结构，包含一个共享的通用编码器和 k 个领域特定编码器（对应 k 个领域）。
• 该模型使用类似 Siamese 的架构，通过结合领域特定和通用表示，计算学生答案与参考答案之间的相似度得分。
• 采用联合优化目标进行端到端训练，以批处理方式在不同领域间交替训练，防止灾难性遗忘。
• 架构使用预训练的 GloVe 词嵌入（300D）并在任务上进行微调，序列编码采用双向 LSTMs（100 个单元）。
• 提出一种训练策略：在每个批次中轮换领域，确保学习均衡，并防止对先前见过领域的性能下降。
• 使用分类交叉熵损失和 Adam 优化器，以固定学习率 0.001 在 15 个周期内进行训练。

实验结果

研究问题

• RQ1 联合多领域学习框架是否能在不依赖大规模预训练语料库的情况下，优于领域特定或仅通用的模型？
• RQ2 神经网络如何能有效从有限的任务特定数据中学习通用语言特征和领域特定语义模式？
• RQ3 在联合训练过程中，何种训练策略能最好地保持多领域性能，避免灾难性遗忘？
• RQ4 端到端联合学习通用与领域特定组件是否比从通用源领域迁移学习具有更好的泛化能力？
• RQ5 所提出的架构是否能在基准数据集和真实世界 ASAG 数据集上实现最先进性能？

主要发现

• 在基准数据集上，JMD-ASAG 达到最先进性能，优于所有现有的非神经网络和神经网络模型。
• 在大规模工业数据集上，JMD-ASAG 显著优于领域特定和迁移学习基线模型。
• 基于批次的领域轮换训练协议取得了最佳宏观 F1（0.6703）和整体准确率（0.7281），优于基于周期和基于领域的训练方式。
• 基于领域的训练协议导致先前见过领域的性能逐步下降，如图 4 所示，这是由于灾难性遗忘所致。
• 在包含超过一千名学生的五个领域真实世界试点部署中，模型性能稳定且具备良好的泛化能力。
• 消融实验表明，联合学习通用与领域特定特征比单独学习或通过迁移学习更有效。