[논문 리뷰] E-cheating Prevention Measures: Detection of Cheating at Online Examinations Using Deep Learning Approach -- A Case Study

Leslie Ching Ow Tiong, Hee-Jeong Lee|arXiv (Cornell University)|2021. 01. 24.

Academic integrity and plagiarism인용 수 30

한 줄 요약

이 논문은 온라인 시험에서의 부정행위를 감지하고 방지하기 위한 IP 탐지기와 DenseLSTM 기반 행동 탐지기로 구성된 e-cheating 지능형 에이전트를 제안하며, 높은 정확도로 새로운 데이터셋에서 평가되었다.

ABSTRACT

This study addresses the current issues in online assessments, which are particularly relevant during the Covid-19 pandemic. Our focus is on academic dishonesty associated with online assessments. We investigated the prevalence of potential e-cheating using a case study and propose preventive measures that could be implemented. We have utilised an e-cheating intelligence agent as a mechanism for detecting the practices of online cheating, which is composed of two major modules: the internet protocol (IP) detector and the behaviour detector. The intelligence agent monitors the behaviour of the students and has the ability to prevent and detect any malicious practices. It can be used to assign randomised multiple-choice questions in a course examination and be integrated with online learning programs to monitor the behaviour of the students. The proposed method was tested on various data sets confirming its effectiveness. The results revealed accuracies of 68% for the deep neural network (DNN); 92% for the long-short term memory (LSTM); 95% for the DenseLSTM; and, 86% for the recurrent neural network (RNN).

연구 동기 및 목표

• 현재 온라인 교육 시스템에서의 온라인 부정행위 방지의 한계를 분석한다.
• 네트워크 IP 탐지와 행동 탐지 모듈을 갖춘 AI 기반 e-cheating 지능형 에이전트를 제안한다.
• 온라인 시험 부정행위 탐지를 위한 새로운 데이터셋(7wiseup)을 만든다.
• DenseLSTM을 벤치마크 네트워크와 비교해 중간고사 및 기말고사 데이터에서 평가한다.
• 지능형 튜터링 시스템 강화 통합을 위한 인사이트를 제공하여 e-cheating을 완화한다.

제안 방법

• IP 탐지기와 행동 탐지기로 구성된 2단계 e-cheating 지능형 에이전트.
• IP 탐지기는 IP 이력에 따라 무작위로 문제 세트를 배정하고 이상이 탐지되면 재배정한다.
• 행동 탐지기는 원-핫 인코딩된 특징으로부터 정상/비정상 행동을 분류하는 DenseLSTM 네트워크를 사용한다.
• 데이터 전처리는 시험 기록을 23개 특징의 원-핫 인코딩 벡터로 변환한다(20개 문제 응답과 세 가지 속도 지표 포함).
• DenseLSTM 아키텍처는 컨볼루션 레이어, Dense 연결이 있는 두 개의 LSTM 블록, 전이 레이어, 분류를 위한 소프트맥스 로스를 포함한다.
• 학습은 Adam 옵티마이저를 사용한 소프트맥스 교차 엔트로피 손실로, 지정된 하이퍼파라미터 하에 수행하며 RTX 2080 Ti GPU에서 실험이 수행된다.

실험 결과

연구 질문

• RQ1 DenseLSTM 기반 행동 탐지기가 온라인 시험 중 정상 행동과 비정상 행동을 구분하는 데 얼마나 효과적인가?
• RQ2 IP 기반 탐지기가 온라인 평가 중 시험 환경의 의심스러운 변화(IP 변경, 무작위 문제 세트 등)를 효과적으로 억제하거나 탐지하는가?
• RQ3 DenseLSTM은 중간고사 및 기말고사 데이터에서 e-cheating 탐지에 대해 DNN, LSTM, RNN 벤치마크와 어떻게 비교되는가?

주요 결과

• DenseLSTM은 중간고사와 기말고사 전반에서 최고 전체 정확도 95.32%를 달성했다.
• DenseLSTM은 중간고사에서 97.77%, 기말고사에서 92.86%의 정확도를 달성했다.
• LSTM은 전체 정확도 91.89%, 중간고사 94.49%, 기말고사 89.29%를 기록했다.
• DNN은 전체 정확도 67.71%로 낮은 성능을 보였고(중간고사 82.74%, 기말고사 52.68%).
• DenseLSTM의 AUC 값은 0.9972(중간고사)와 0.9760(기말고사)로 높은 분리 성능을 보였다.