[論文レビュー] E-cheating Prevention Measures: Detection of Cheating at Online Examinations Using Deep Learning Approach -- A Case Study

Leslie Ching Ow Tiong, Hee-Jeong Lee|arXiv (Cornell University)|Jan 24, 2021

Academic integrity and plagiarism被引用数 30

ひとこと要約

論文は、オンライン試験での不正行為を検出・防止するための IP検出器とDenseLSTMベースの挙動検出器を備えたe-不正行為知能エージェントを提案し、新しいデータセットで高精度に評価した。

ABSTRACT

This study addresses the current issues in online assessments, which are particularly relevant during the Covid-19 pandemic. Our focus is on academic dishonesty associated with online assessments. We investigated the prevalence of potential e-cheating using a case study and propose preventive measures that could be implemented. We have utilised an e-cheating intelligence agent as a mechanism for detecting the practices of online cheating, which is composed of two major modules: the internet protocol (IP) detector and the behaviour detector. The intelligence agent monitors the behaviour of the students and has the ability to prevent and detect any malicious practices. It can be used to assign randomised multiple-choice questions in a course examination and be integrated with online learning programs to monitor the behaviour of the students. The proposed method was tested on various data sets confirming its effectiveness. The results revealed accuracies of 68% for the deep neural network (DNN); 92% for the long-short term memory (LSTM); 95% for the DenseLSTM; and, 86% for the recurrent neural network (RNN).

研究の動機と目的

• 現在のオンライン教育システムにおけるオンライン不正行為防止の限界を分析する。
• ネットワークIP検出と挙動検出モジュールを備えたAIベースのe-cheatingインテリジェンスエージェントを提案する。
• オンライン試験の不正検出用の新しいデータセット（7wiseup）を作成する。
• 中間期および期末期の試験データに対してベンチマークネットワークと比較してDenseLSTMを評価する。
• e-不正を緩和するためのインテリジェント・チュータリングシステムの強化統合に関する洞察を提供する。

提案手法

• IP検出器と挙動検出器からなる二段階のe-cheatingインテリジェンスエージェント。
• IP検出器は質問セットをランダムに割り当て、IP履歴に基づく検出された異常があれば再割り当てを行う。
• 挙動検출器は、ワンホットエンコードされた特徴量から正常 vs 異常な挙動を分類するDenseLSTMネットワークを使用する。
• データ前処理は、試験記録を23特徴のワンホットエンコードベクトルに変換する（20問の回答＋3つの速度指標）。
• DenseLSTMアーキテクチャは、畳み込み層、密結合を持つ2つのLSTMブロック、遷移層、分類のためのソフトマックス損失を含む。
• 学習は指定されたハイパーパラメータの下でAdam最適化器を用いたソフトマックス交差エントロピー損失を使用する；RTX 2080 Ti GPUで実験を実施。

実験結果

リサーチクエスチョン

• RQ1 オンライン試験中にDenseLSTMベースの挙動検出器は正常と異常の挙動を区別する上でどれほど効果的か。
• RQ2 IPベースの検出器はオンライン評価中のIP変更や質問セットのランダム化といった試験条件の不審な変化を抑止・検出するのに有効か。
• RQ3 DenseLSTMは中間期・期末データセットにおける不正検出でDNN、LSTM、RNNのベンチマークと比べてどうか。

主な発見

• DenseLSTMは中間期と期末試験全体で最高の総合精度95.32%を達成。
• DenseLSTMは中間期で97.77%、期末期で92.86%の精度を達成。
• LSTMは総合91.89%、中間期94.49%、期末89.29%。
• DNNは総合67.71%、中間期82.74%、期末52.68%で低性能。
• DenseLSTMのAUCは中間期0.9972、期末期0.9760で、識別性能が高いことを示す。