[논문 리뷰] A Survey of Plagiarism Detection Systems: Case of Use with English, French and Arabic Languages

Mehdi Abdelhamid, Faiçal Azouaou외 1명|arXiv (Cornell University)|2022. 01. 10.

Academic integrity and plagiarism인용 수 4

한 줄 요약

이 논문은 영어, 프랑스어, 아랍어 학술 문서를 대상으로 한 8종의 도용 탐지 시스템에 대한 종합적인 서베이를 제시하며, 그 성능을 그대로 복제, 재구성, 다국어 도용에 대해 평가한다. 시스템 기능, 사용성, 기술 아키텍처 및 탐지 정확도를 분석하여 다국어 환경에서의 도용 유형에 대한 체계적인 분류와 비교 평가를 제공한다.

ABSTRACT

In academia, plagiarism is certainly not an emerging concern, but it became of a greater magnitude with the popularisation of the Internet and the ease of access to a worldwide source of content, rendering human-only intervention insufficient. Despite that, plagiarism is far from being an unaddressed problem, as computer-assisted plagiarism detection is currently an active area of research that falls within the field of Information Retrieval (IR) and Natural Language Processing (NLP). Many software solutions emerged to help fulfil this task, and this paper presents an overview of plagiarism detection systems for use in Arabic, French, and English academic and educational settings. The comparison was held between eight systems and was performed with respect to their features, usability, technical aspects, as well as their performance in detecting three levels of obfuscation from different sources: verbatim, paraphrase, and cross-language plagiarism. An indepth examination of technical forms of plagiarism was also performed in the context of this study. In addition, a survey of plagiarism typologies and classifications proposed by different authors is provided.

연구 동기 및 목표

• 다국어 학술 환경에서 기존 도용 탐지 시스템의 효과성을 평가하는 것, 특히 영어, 프랑스어, 아랍어를 대상으로 하는 것.
• 현재 시스템의 다국어 지원 및 위장 기법 탐지 측면에서의 격차를 규명하는 것.
• 세 가지 주요 언어 간 시스템 기능, 사용성, 기술적 구현 방식에 대한 비교 분석을 제공하는 것.
• 학술 글쓰기 맥락에서 그대로 복제, 재구성, 다국어 유형을 포함한 다양한 도용 형태를 분류하고 분석하는 것.

제안 방법

• 연구는 표준화된 평가 프레임워크를 사용하여 8종의 도용 탐지 시스템을 비교 분석하였다.
• 시스템은 언어 지원, 사용자 인터페이스, 색인 방법, 통합 능력 등의 기능 기반으로 평가되었다.
• 성능 평가는 세 가지 도용 유형(그대로 복제, 재구성, 다국어 도용) 기반으로 측정되었다.
• 시스템 아키텍처, 색인 기법, 유사도 계산 방법에 대한 기술적 평가가 포함되었다.
• 기존 문헌에서 유도된 도용 유형의 분류 체계를 바탕으로, 탐지 사례의 분류를 안내하는 체계를 구성하였다.
• 시스템 문서, 학술 논문, 기술 사양에서 유래한 정성적 및 정량적 자료를 설문 조사에 통합하였다.

실험 결과

연구 질문

• RQ1 도용 탐지 시스템은 영어, 프랑스어, 아랍어에서 그대로 복제 도용을 탐지할 때 어떻게 성능을 발휘하는가?
• RQ2 조사된 8종의 시스템 간 시스템 아키텍처와 기능 세트의 주요 차이점은 무엇인가?
• RQ3 현재 시스템은 다국어 학술 문서에서 재구성 도용 및 다국어 도용을 얼마나 효과적으로 탐지하는가?
• RQ4 학술 도용에서 가장 흔한 위장 기법은 무엇이며, 시스템은 이를 어떻게 처리하는가?
• RQ5 다양한 교육 및 기관 환경에서 시스템의 사용성과 통합 능력은 어떻게 달라지는가?

주요 결과

• 연구 결과, 대부분의 시스템이 세 언어 모두에서 그대로 복제 도용 탐지에 강력한 성능을 보였다.
• 재구성 도용 탐지가 여전히 주요 과제로 남아 있으며, 특히 아랍어와 프랑스어에서는 언어적 복잡성과 형태적 다양성으로 인해 어려움을 겪고 있다.
• 다국어 도용 탐지는 가장 낮은 지원 수준을 보이며, 유사도 계산이 다국어로 신뢰성 있게 작동하는 시스템은 소수에 그친다.
• 사용성은 다양하게 나타나며, 일부 플랫폼은 직관적인 인터페이스를 제공하지만, 다른 시스템은 구현을 위해 기술 전문 지식이 필요하다.
• 의미적 임bedding 및 신경 기계 번역과 같은 고급 NLP 기법의 통합은 재구성 및 다국어 도용 사례의 탐지 성능을 크게 향상시킨다.
• 특히 아랍어에 대한 표준화된 벤치마킹이 부족하여 다국어 도용 탐지의 신뢰할 수 있는 성능 비교를 제한하는 명백한 격차가 존재한다.