[论文解读] Automated Essay Scoring based on Two-Stage Learning

Jiawei Liu, Yang Xu+1 more|arXiv (Cornell University)|Jan 23, 2019

Adversarial Robustness in Machine Learning参考文献 16被引用 45

一句话总结

论文提出一个两阶段学习框架（TSLF），将深度模型的语义、连贯性和提示相关信号与手工特征相结合，然后使用 XGBoost 进行最终打分，在 ASAP 上对对抗性输入具有强鲁棒性。

ABSTRACT

Current state-of-art feature-engineered and end-to-end Automated Essay Score (AES) methods are proven to be unable to detect adversarial samples, e.g. the essays composed of permuted sentences and the prompt-irrelevant essays. Focusing on the problem, we develop a Two-Stage Learning Framework (TSLF) which integrates the advantages of both feature-engineered and end-to-end AES models. In experiments, we compare TSLF against a number of strong baselines, and the results demonstrate the effectiveness and robustness of our models. TSLF surpasses all the baselines on five-eighths of prompts and achieves new state-of-the-art average performance when without negative samples. After adding some adversarial essays to the original datasets, TSLF outperforms the feature-engineered and end-to-end baselines to a great extent, and shows great robustness.

研究动机与目标

• 通过利用手工特征和深度语义表示来提升 AES 的动机。
• 检测诸如段落置换和提示无关作文等对抗性 AES 输入。
• 通过将阶段一的分数与特征工程特征融合在提升模型中来提高鲁棒性和准确性。

提出的方法

• 使用预训练的 BERT 模型获得句子嵌入，并通过对倒数第二层隐藏状态取平均来计算句子向量。
• 阶段 1 使用基于 LSTM 的编码器计算三个分数：语义分数 Se、连贯性分数 Ce、提示相关分数 Pe，每个使用均方误差损失进行训练。
• 阶段 2 将 Se、Ce、Pe 与手工特征拼接，然后输入到 XGBoost 回归模型以生成最终分数。
• 将语法错误纠正（GEC）和拼写检查作为手工特征管线的一部分引入。
• 将 ASAP 分数归一化为 (0,1) 以进行训练；在测试时将预测值重新缩放回原始区间。
• 阶段一组件使用 Adam 进行训练；提升阶段应用早停以进行 boosting。

实验结果

研究问题

• RQ1 将深编码特征与手工特征相结合，是否能在性能上超过纯端到端或纯基于特征的方法？
• RQ2 连贯性和提示相关信号是否能检测到对抗性输入，如段落置换和提示无关的作文？
• RQ3 通过 boosting 模型将 Se、Ce、Pe 与手工特征结合，是否在对抗条件下实现鲁棒性能？

主要发现

• TSLF-ALL 在八个提示中的五个上超越基线，并在没有对抗样本的 ASAP 上获得最佳平均性能。
• 当加入对抗样本时，TSLF-ALL 仍比基线更鲁棒，原因在于连贯性和提示相关信号。
• 在消融实验中，基于 LSTM 的分数的最后隐藏状态表现优于平均隐藏状态。
• GEC 辅助的语法特征和全面的手工特征提升了 AES 的效果，超出仅拼写检查的效果。
• 在存在对抗输入的情况下，端到端和基于特征的基线难以维持性能，而 TSLF-ALL 显示出强鲁棒性。