[논문 리뷰] Analyzing Non-Textual Content Elements to Detect Academic Plagiarism

Norman Meuschke|arXiv (Cornell University)|2021. 06. 10.

Topic Modeling참고 문헌 344인용 수 5

한 줄 요약

이 논문은 전통적인 텍스트 기반 방법을 보완하기 위해 인용문, 그림, 수학적 표현과 같은 비텍스트 콘텐츠 요소를 분석함으로써 학술 표절을 탐지하는 새로운 접근법을 제안한다. 이 방법은 이러한 요소들이 가지는 의미적 풍부성, 언어 독립성, 그리고 위장 기법에 대한 저항성에 기반하여, 다섯 가지 평가에서 특히 재구성된 또는 재구성된 내용의 표절을 크게 향상시켜 탐지함을 입증한다.

ABSTRACT

<strong>Code, data, and oral presentation: </strong>http://thesis.meuschke.org <strong>Abstract:</strong> Identifying academic plagiarism is a pressing problem, among others, for research institutions, publishers, and funding organizations. Detection approaches proposed so far analyze lexical, syntactical, and semantic text similarity. These approaches find copied, moderately reworded, and literally translated text. However, reliably detecting disguised plagiarism, such as strong paraphrases, sense-for-sense translations, and the reuse of non-textual content and ideas, is an open research problem.<br> The thesis addresses this problem by proposing plagiarism detection approaches that implement a different concept: analyzing non-textual content in academic documents, specifically citations, images, and mathematical content.<br> To validate the effectiveness of the proposed detection approaches, the thesis presents five evaluations that use real cases of academic plagiarism and exploratory searches for unknown cases.<br> The evaluation results show that non-textual content elements contain a high degree of semantic information, are language-independent, and largely immutable to the alterations that authors typically perform to conceal plagiarism. Analyzing non-textual content complements text-based detection approaches and increases the detection effectiveness, particularly for disguised forms of academic plagiarism.<br> To demonstrate the benefit of combining non-textual and text-based detection methods, the thesis describes the first plagiarism detection system that integrates the analysis of citation-based, image-based, math-based, and text-based document similarity. The system's user interface employs visualizations that significantly reduce the effort and time users must invest in examining content similarity.

연구 동기 및 목표

• 강한 어색한 어색한 번역이나 의미 기반 번역과 같은 방식으로 회피되는 은폐된 학술 표절 탐지의 지속적인 과제를 해결하기 위해.
• 단지 어휘적, 문법적, 의미적 유사성에 의존하는 기존 표절 탐지 시스템의 한계를 극복하기 위해.
• 비텍스트 콘텐츠 요소인 인용문, 그림, 수학적 표현이 표절 탐지에 있어 강력하고 언어에 독립적인 지표로서의 잠재력을 탐색하기 위해.
• 텍스트 기반 및 비텍스트 기반 유사성 분석을 통합한 종합적인 탐지 시스템을 개발하고 검증하여 탐지 정확도를 향상시키기 위해.
• 다양한 모odal에서의 유사 콘텐츠를 빠르게 식별하고 검토할 수 있도록 도와주는 상호작용 가능한 비주얼라이제이션을 통해 사용자 검토 과정의 노력 감소를 증명하기 위해.

제안 방법

• 인용문, 그림, 수학적 표현을 별개의 유사성 소스로 분석하는 다중모달 표절 탐지 프레임워크를 제안한다.
• 각각 도메인 특화된 표현 방식(예: 인용 네트워크, 이미지 임베딩, LaTeX 기반의 문법 분석)을 활용하여 인용 기반, 이미지 기반, 수학 기반 특징을 기반으로 문서 유사성 계산을 구현한다.
• 텍스트 기반 유사성과 비텍스트 기반 유사성 점수를 가중치 기반 융합 전략을 통해 통합하여 전체 탐지 효과를 향상시킨다.
• 다양한 문서 모달 간의 유사 콘텐츠를 신속하게 식별하고 검토할 수 있도록 상호작용 가능한 비주얼라이제이션을 갖춘 사용자 인터페이스를 설계한다.
• 실제 표절 사례와 탐색적 검색을 조합하여, 기존에 알려지지 않은 표절 사례까지 탐지할 수 있는 시스템의 능력을 평가한다.
• 언어 독립적 표현을 사용하여 다양한 언어와 위장 기법에 대비한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 인용문, 그림, 수학적 표현과 같은 비텍스트 콘텐츠 요소가 은폐된 학술 표절 탐지에 얼마나 기여할 수 있는가?
• RQ2 인용, 이미지, 수학적 콘텐츠 유사성 측정 방법이 기존 텍스트 기반 탐지에서 빠지는 표절 콘텐츠를 얼마나 효과적으로 식별할 수 있는가?
• RQ3 비텍스트 기반과 텍스트 기반 유사성 탐지의 통합이 표절 탐지에서 거짓 음성 결과를 크게 줄일 수 있는가?
• RQ4 비텍스트 콘텐츠 요소가 다양한 학문 분야에서 재구성된 또는 개념적으로 재사용된 콘텐츠를 탐지하는 데 얼마나 효과적인가?
• RQ5 다중모달 유사성의 비주얼라이제이션이 수작업으로 잠재적 표절 사례를 검토하는 데 소요되는 시간과 노력에 얼마나 기여하는가?

주요 결과

• 비텍스트 콘텐츠 요소—특히 인용문, 그림, 수학적 표현—는 높은 의미적 정보를 담고 있으며, 일반적인 위장 기법(예: 어색한 어색한 번역, 어색한 어색한 어색한 번역)에 거의 영향을 받지 않는다.
• 제안된 방법은 특히 강한 어색한 어색한 번역이나 의미 기반 번역을 포함한 은폐된 표절 탐지에서 기존 텍스트 기반 방법이 실패하는 경우에 유의미하게 향상된 성능을 보였다.
• 인용 기반, 이미지 기반, 수학 기반, 텍스트 기반 유사성의 통합은 텍스트 전용 접근 방식에 비해 탐지 효과를 크게 향상시켰다.
• 실제 표절 사례와 탐색적 검색을 통한 평가 결과, 비텍스트 요소가 이전에 발견되지 않은 표절 사례를 드러내는 데 기여함을 확인했다.
• 시스템의 사용자 인터페이스에 통합된 비주얼라이제이션은 리뷰어가 문서 간의 콘텐츠 유사성을 식별하고 평가하는 데 소요되는 시간과 노력을 줄였다.
• 시스템의 언어 독립성 덕분에 다국어 학술 자료에서도 신뢰할 수 있는 탐지가 가능하여 국제적 연구 환경에서의 적용 가능성을 넓혔다.