[논문 리뷰] A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm

Seyed Vahid Moravvej, Seyed Jalaleddin Mousavirad외 2명|arXiv (Cornell University)|2023. 05. 03.

Academic integrity and plagiarism인용 수 21

한 줄 요약

소개 BPD-IDE, BERT 기반 단어 임베딩과 주의(attention) 기반 BLSTMs를 융합한 표절 탐지 모델로, 사전 학습을 위한 클러스터링 강화 차등 진화 및 클래스 불균형 처리를 위한 포컬 로스로 최적화되었으며, SNLI, MSRP, SemEval2014에서 여러 베이스라인을 능가하도록 평가했다.

ABSTRACT

Detecting plagiarism involves finding similar items in two different sources. In this article, we propose a novel method for detecting plagiarism that is based on attention mechanism-based long short-term memory (LSTM) and bidirectional encoder representations from transformers (BERT) word embedding, enhanced with optimized differential evolution (DE) method for pre-training and a focal loss function for training. BERT could be included in a downstream task and fine-tuned as a task-specific BERT can be included in a downstream task and fine-tuned as a task-specific structure, while the trained BERT model is capable of detecting various linguistic characteristics. Unbalanced classification is one of the primary issues with plagiarism detection. We suggest a focal loss-based training technique that carefully learns minority class instances to solve this. Another issue that we tackle is the training phase itself, which typically employs gradient-based methods like back-propagation for the learning process and thus suffers from some drawbacks, including sensitivity to initialization. To initiate the BP process, we suggest a novel DE algorithm that makes use of a clustering-based mutation operator. Here, a winning cluster is identified for the current DE population, and a fresh updating method is used to produce potential answers. We evaluate our proposed approach on three benchmark datasets ( MSRP, SNLI, and SemEval2014) and demonstrate that it performs well when compared to both conventional and population-based methods.

연구 동기 및 목표

• 텍스트 유사성 task로서의 표절 탐지를 동기화하고 탐지에서의 클래스 불균형 문제를 해결한다.
• 강력한 유사도 점수를 위한 BERT 기반 임베딩 파이프라인과 어텐션 기반 BLSTM을 결합하여 제안한다.
• 클러스터링 강화 차등 진화를 초기화에 사용한 초기화와 포컬 로스 훈련을 개발하여 GP 최적화 및 불균형 데이터 처리을 개선한다.
• 표준 데이터셋(MSRP, SNLI, SemEval2014)에서 접근법을 평가하고 심층학습 및 메타휴리스틱 베이스라인과 비교한다.

제안 방법

• 문장 쌍의 맥락 의미를 포착하기 위해 BERT 단어 임베딩을 사용한다.
• 소스 문장과 의심 문장을 인코딩하기 위해 두 개의 어텐션 기반 BLSTM을 활용하고 최종 유사도 예측기를 둔다.
• 예측 오차를 기반으로 한 적합도 함수로 네트워크 가중치(두 개의 LSTM, 어텐션 및 피드포워드 층)를 초기화하기 위해 클러스터링 기반 차등 진화 알고리즘을 도입한다.
• 학습 중 클래스 불균형 완화를 위해 포컬 로스를 적용한다.
• 두 단계로 학습한다: DE 기반 초기화로의 사전 학습과 최종 유사도 작업에 대한 미세 조정한다.

실험 결과

연구 질문

• RQ1 전통적인 딥러닝 모델과 비교할 때, attention BLSTM이 포함된 BERT 기반 임베딩은 표절 탐지에서 어떤 성능을 보이는가?
• RQ2 이 아키텍처에서 클러스터링 기반 차등 진화 초기화가 최적화 및 최종 정확도를 향상시키는가?
• RQ3 포컬 로스가 표절 탐지 데이터셋의 클래스 불균형을 효과적으로 해결할 수 있는가?
• RQ4 MSRP, SNLI, SemEval2014에서 BPD-IDE가 다른 메타휴리스틱 초기화 및 베이스라인 방법과 어떻게 비교되는가?

주요 결과

• BPD-IDE는 여러 딥러닝 베이스라인과 비교하여 SNLI, MSRP, SemEval2014 전반에서 최고의 성능을 달성한다.
• SNLI에서 BPD-IDE는 정확도 0.930, 재현율 0.920, 정밀도 0.881, F-측정 0.900, G-평균 0.927를 달성한다.
• MSRP에서 BPD-IDE는 정확도 0.937, 재현율 0.961, 정밀도 0.946, F-측정 0.953, G-평균 0.925를 달성한다.
• SemEval2014에서 BPD-IDE는 정확도 0.876, 재현율 0.884, 정밀도 0.977, F-측정 0.928, G-평균 0.838를 달성한다.
• 포컬 로스와 DE 초기화를 사용한 BPD-IDE는 무작위 가중치 및 FL 변형에 비해 오차를 크게 감소시키며, 초기화와 손실 선택의 필요성을 시사한다.
• 이 설정에서 BERT 기반 임베딩은 세 데이터셋 모두에서 원-핫 인코딩, CBOW, Skip-gram, GloVe, FastText보다 성능이 우수하다.