[論文レビュー] A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm

Seyed Vahid Moravvej, Seyed Jalaleddin Mousavirad+2 more|arXiv (Cornell University)|May 3, 2023

Academic integrity and plagiarism被引用数 21

ひとこと要約

BPD-IDEを紹介する。BERTベースの語彙埋め込みと注意機構を持つBLSTMを統合し、クラスタリング強化ディ differential evolutionで事前学習を最適化し、焦点損失でクラス不均衡に対処する plagiarism 検出モデル。SNLI、MSRP、SemEval2014でベースラインを上回る評価を実施。

ABSTRACT

Detecting plagiarism involves finding similar items in two different sources. In this article, we propose a novel method for detecting plagiarism that is based on attention mechanism-based long short-term memory (LSTM) and bidirectional encoder representations from transformers (BERT) word embedding, enhanced with optimized differential evolution (DE) method for pre-training and a focal loss function for training. BERT could be included in a downstream task and fine-tuned as a task-specific BERT can be included in a downstream task and fine-tuned as a task-specific structure, while the trained BERT model is capable of detecting various linguistic characteristics. Unbalanced classification is one of the primary issues with plagiarism detection. We suggest a focal loss-based training technique that carefully learns minority class instances to solve this. Another issue that we tackle is the training phase itself, which typically employs gradient-based methods like back-propagation for the learning process and thus suffers from some drawbacks, including sensitivity to initialization. To initiate the BP process, we suggest a novel DE algorithm that makes use of a clustering-based mutation operator. Here, a winning cluster is identified for the current DE population, and a fresh updating method is used to produce potential answers. We evaluate our proposed approach on three benchmark datasets ( MSRP, SNLI, and SemEval2014) and demonstrate that it performs well when compared to both conventional and population-based methods.

研究の動機と目的

• 盗作検出をテキスト類似度タスクとして動機づけ、検出におけるクラス不均衡に対処する。
• 頑健な類似度スコアリングのためにBERTベースの埋め込みパイプラインと注意機構付きBLSTMを提案。
• GP最適化と不均衡データ処理を改善するクラスタリング強化ディフエ〜エの初期化と焦点損失の訓練を開発。
• 標準データセット（MSRP、SNLI、SemEval2014）で評価し、深層学習およびメタヒューリスティックのベースラインと比較。

提案手法

• 文の対を捉えるためにBERT語彙埋め込みを使用。
• ソース文と疑似文をエンコードするために2つの注意機構付きBLSTMを用い、最終的な類似度予測子を適用。
• 予測誤差に基づく適合度関数を用いてネットワーク重み（2つのLSTM、注意、フィードフォワード層）を初期化するクラスタリングベースのディフエ〜エアルゴリズムを導入。
• 訓練時のクラス不均衡を緩和するために焦点損失を適用。
• 二段階訓練：DE初期化による事前学習と最終類似度タスクの微調整。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの埋め込みと注意機構付きBLSTMは、従来の深層学習モデルと比べて盗作検出でどの程度性能を発揮するか？
• RQ2 クラスタリングベースのディフエ〜エ初期化はこのアーキテクチャの最適化と最終精度を改善するか？
• RQ3 焦点損失は盗作検出データセットのクラス不均衡に効果的に対処できるか？
• RQ4 MSRP、SNLI、SemEval2014でBPD-IDEは他のメタヒューリスティック初期化法やベースライン法と比べてどうか？

主な発見

• BPD-IDEは、いくつかの深層学習ベースラインと比較してSNLI、MSRP、およびSemEval2014のすべてでトップの性能を達成。
• SNLIでは、BPD-IDEは精度0.930、再現率0.920、適合率0.881、F値0.900、G-means0.927を達成。
• MSRPでは、BPD-IDEは精度0.937、再現率0.961、適合率0.946、F値0.953、G-means0.925を達成。
• SemEval2014では、BPD-IDEは精度0.876、再現率0.884、適合率0.977、F値0.928、G-means0.838を達成。
• 焦点損失とDE初期化を組み合わせたBPD-IDEの使用は、ランダム重みおよびFL変種と比べて誤差を大幅に減らし、初期化と損失選択の重要性を示唆。
• BERTベースの埋め込みは、本設定でデータセット全体においてone-hot、CBOW、Skip-gram、GloVe、FastTextを上回る。