[论文解读] A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm

Seyed Vahid Moravvej, Seyed Jalaleddin Mousavirad+2 more|arXiv (Cornell University)|May 3, 2023

Academic integrity and plagiarism被引用 21

一句话总结

引入 BPD-IDE，一种将基于 BERT 的词嵌入与基于注意力的 BLSTM 相融合的抄袭检测模型，通过聚类增强的差分进化进行预训练初始化并使用 focal loss 处理类别不平衡，在 SNLI、MSRP 和 SemEval2014 上评估，优于若干基线。

ABSTRACT

Detecting plagiarism involves finding similar items in two different sources. In this article, we propose a novel method for detecting plagiarism that is based on attention mechanism-based long short-term memory (LSTM) and bidirectional encoder representations from transformers (BERT) word embedding, enhanced with optimized differential evolution (DE) method for pre-training and a focal loss function for training. BERT could be included in a downstream task and fine-tuned as a task-specific BERT can be included in a downstream task and fine-tuned as a task-specific structure, while the trained BERT model is capable of detecting various linguistic characteristics. Unbalanced classification is one of the primary issues with plagiarism detection. We suggest a focal loss-based training technique that carefully learns minority class instances to solve this. Another issue that we tackle is the training phase itself, which typically employs gradient-based methods like back-propagation for the learning process and thus suffers from some drawbacks, including sensitivity to initialization. To initiate the BP process, we suggest a novel DE algorithm that makes use of a clustering-based mutation operator. Here, a winning cluster is identified for the current DE population, and a fresh updating method is used to produce potential answers. We evaluate our proposed approach on three benchmark datasets ( MSRP, SNLI, and SemEval2014) and demonstrate that it performs well when compared to both conventional and population-based methods.

研究动机与目标

• 将抄袭检测作为文本相似性任务来激发研究，并解决检测中的类别不平衡问题。
• 提出基于 BERT 的嵌入管线，结合基于注意力的 BLSTM 以实现鲁棒的相似度评分。
• 开发聚类增强的差分进化初始化与 focal loss 训练，以改进 GP 优化和处理不平衡数据。
• 在标准数据集（MSRP、SNLI、SemEval2014）上评估该方法，并与深度学习与元启发式基线进行比较。

提出的方法

• 使用 BERT 词嵌入来捕捉句对的上下文语义。
• 采用两段基于注意力的 BLSTM 来编码源句与疑似句，并输出最终的相似度预测。
• 引入基于聚类的差分进化算法来初始化网络权重（两段 LSTM、注意力和前馈层），其适应度函数基于预测误差。
• 在训练过程中应用 focal loss 以缓解类别不平衡。
• 分两阶段训练：使用 DE 基初始化的预训练与最终相似任务的微调。

实验结果

研究问题

• RQ1 基于 BERT 的嵌入结合注意力 BLSTM 相较传统深度学习模型在抄袭检测中的表现如何？
• RQ2 基于聚类的差分进化初始化是否能提升该架构的优化与最终准确性？
• RQ3 focal loss 是否能够在抄袭检测数据集中有效解决类别不平衡？
• RQ4 在 MSRP、SNLI、SemEval2014 上，BPD-IDE 与其他元启发式初始化和基线方法相比如何？

主要发现

• BPD-IDE 在 SNLI、MSRP、SemEval2014 的表现优于若干深度学习基线。
• 在 SNLI 上，BPD-IDE 的准确率为 0.930，召回率为 0.920，精确度为 0.881，F-measure 为 0.900，G-means 为 0.927。
• 在 MSRP 上，BPD-IDE 的准确率为 0.937，召回率为 0.961，精确度为 0.946，F-measure 为 0.953，G-means 为 0.925。
• 在 SemEval2014 上，BPD-IDE 的准确率为 0.876，召回率为 0.884，精确度为 0.977，F-measure 为 0.928，G-means 为 0.838。
• 在使用 focal loss 和 DE 初始化的情形下，相较于随机权重和 FL 变体显著降低了误差，表明初始化与损失函数选择的重要性。
• 在这三类数据集上，基于 BERT 的嵌入优于 one-hot、CBOW、Skip-gram、GloVe 和 FastText。