[论文解读] E-cheating Prevention Measures: Detection of Cheating at Online Examinations Using Deep Learning Approach -- A Case Study

Leslie Ching Ow Tiong, Hee-Jeong Lee|arXiv (Cornell University)|Jan 24, 2021

Academic integrity and plagiarism被引用 30

一句话总结

本论文提出一种带 IP 检测器和基于 DenseLSTM 的行为检测器的线上考试防作弊智能代理，用于检测并防止在线考试中的作弊，在一个新数据集上进行评估，准确率高。

ABSTRACT

This study addresses the current issues in online assessments, which are particularly relevant during the Covid-19 pandemic. Our focus is on academic dishonesty associated with online assessments. We investigated the prevalence of potential e-cheating using a case study and propose preventive measures that could be implemented. We have utilised an e-cheating intelligence agent as a mechanism for detecting the practices of online cheating, which is composed of two major modules: the internet protocol (IP) detector and the behaviour detector. The intelligence agent monitors the behaviour of the students and has the ability to prevent and detect any malicious practices. It can be used to assign randomised multiple-choice questions in a course examination and be integrated with online learning programs to monitor the behaviour of the students. The proposed method was tested on various data sets confirming its effectiveness. The results revealed accuracies of 68% for the deep neural network (DNN); 92% for the long-short term memory (LSTM); 95% for the DenseLSTM; and, 86% for the recurrent neural network (RNN).

研究动机与目标

• 分析当前在线教育系统中在线作弊防护的局限性。
• 提出基于 AI 的在线作弊智能代理，具备网络 IP 检测和行为检测模块。
• 为在线考试作弊检测创建一个新数据集（7wiseup）。
• 评估 DenseLSTM 相对于基准网络在中期和期末考试数据上的表现。
• 为集成智能辅导系统提升以缓解在线作弊提供见解。

提出的方法

• 两阶段的在线作弊智能代理，包括 IP 检测器和行为检测器。
• IP 检测器基于 IP 历史随机分配题集，发现异常时重新分配。
• 行为检测器使用 DenseLSTM 网络从 one-hot 编码特征中分类正常与异常行为。
• 数据预处理将考试记录转换为 23 个特征的 one-hot 编码向量（20 个题目答案加上三个速度指标）。
• DenseLSTM 架构包括一个卷积层、两个带稠密连接的 LSTM 模块、一个转换层，以及用于分类的 softmax 损失。
• 训练在指定的超参数下使用 Adam 优化器的 softmax 交叉熵损失；在 RTX 2080 Ti GPU 上进行实验。

实验结果

研究问题

• RQ1 DenseLSTM 基于行为检测器在区分在线考试中的正常行为与异常行为方面有多有效？
• RQ2 基于 IP 的检测器是否在在线评估中有效威慑或检测考试条件的可疑变化（例如 IP 变化、题集随机化）？
• RQ3 DenseLSTM 与 DNN、LSTM、RNN 基准在中期和期末数据上检测电子作弊方面有何比较？

主要发现

• DenseLSTM 在中期与期末考试中的总体准确率达到最高，为 95.32%。
• DenseLSTM 在中期达到 97.77% 的准确率，在期末为 92.86%。
• LSTM 的总体准确率为 91.89%，中期为 94.49%，期末为 89.29%。
• DNN 的总体准确率较差，为 67.71%（中期 82.74%，期末 52.68%）。
• DenseLSTM 的 AUC 值分别为中期 0.9972 和期末 0.9760，显示出较高的判别性能。