[논문 리뷰] Plagiarism Detection using ROUGE and WordNet

Chien-Ying Chen, Jen‐Yuan Yeh외 1명|arXiv (Cornell University)|2010. 03. 22.

Topic Modeling참고 문헌 15인용 수 43

한 줄 요약

이 논문은 ROUGE 메트릭스(문자열 공존, 스킵-바이그램, 최장 공통 부분수열)와 WordNet을 결합한 표절 탐지 시스템을 제안한다. 이는 정확한 복사본과 수정된 텍스트 표절을 모두 탐지할 수 있도록 한다. 문법적 유사성과 의미적 동의어 관계를 활용하여 어순 변경이나 단어 대체가 일어난 경우에도 어조를 바꾼 내용을 보다 잘 탐지할 수 있도록 하며, 전통적인 지문 기반 및 어근 빈도 기반 방법보다 의미적 변형을 더 잘 다루는 데 성공한다.

ABSTRACT

With the arrival of digital era and Internet, the lack of information control provides an incentive for people to freely use any content available to them. Plagiarism occurs when users fail to credit the original owner for the content referred to, and such behavior leads to violation of intellectual property. Two main approaches to plagiarism detection are fingerprinting and term occurrence; however, one common weakness shared by both approaches, especially fingerprinting, is the incapability to detect modified text plagiarism. This study proposes adoption of ROUGE and WordNet to plagiarism detection. The former includes ngram co-occurrence statistics, skip-bigram, and longest common subsequence (LCS), while the latter acts as a thesaurus and provides semantic information. N-gram co-occurrence statistics can detect verbatim copy and certain sentence modification, skip-bigram and LCS are immune from text modification such as simple addition or deletion of words, and WordNet may handle the problem of word substitution.

연구 동기 및 목표

• 기존 표절 탐지 방법이 수정되거나 어조를 바꾼 텍스트를 식별하는 데에 한계가 있다는 문제를 해결하기 위해.
• 지문 기반 및 어근 빈도 기반 방법이 단어 대체, 어순 변경 또는 경미한 문장 변경이 일어난 텍스트를 탐지하지 못하는 문제를 해결하기 위해.
• ROUGE의 n-gram 및 부분수열 일치 기능을 WordNet의 의미 어휘사전과 융합하여 어조를 바꾼 텍스트의 탐지 능력을 향상시키기 위해.
• 디지털 시대에 콘텐츠가 자주 수정되어 탐지 회피를 목적으로 하는 상황에서 표절 탐지의 강건성을 향상시키기 위해.

제안 방법

• 정확한 복사본 및 경미한 문장 수정을 탐지하기 위해 ROUGE의 n-gram 공존 통계를 활용한다.
• 단어 삽입 또는 삭제가 있을 경우에도 유사한 텍스트를 식별하기 위해 스킵-바이그램 및 최장 공통 부분수열(LCS) 기법을 적용한다.
• 의미적 동의어 관계를 탐지하기 위해 WordNet을 의미 어휘사전으로 통합한다.
• 입력 텍스트를 대소문자 정규화, 불용어 제거 및 동의어 집합 생성을 통해 처리하여 비교를 수행한다.
• ROUGE 기반 문자열 유사도와 WordNet 기반 의미 유사도를 조합하여 복합 표절 점수를 계산한다.
• 원본 및 대상 문서 간의 어휘적 및 의미적 유사도를 평가하는 하이브리드 매칭 전략을 구현한다.

실험 결과

연구 질문

• RQ1 ROUGE 메트릭스는 단어 삽입 또는 삭제와 같은 구조적 수정이 가해진 텍스트에서 표절을 효과적으로 탐지할 수 있는가?
• RQ2 WordNet을 통합함으로써 어색한 단어 대체가 일어난 어조를 바꾼 표절 탐지 능력은 어느 정도 향상되는가?
• RQ3 ROUGE와 WordNet의 조합은 전통적인 지문 기반 및 어근 빈도 기반 방법보다 수정된 텍스트 탐지에서 어떻게 우월한가?
• RQ4 ROUGE 메트릭스(문자열 공존, 스킵-바이그램, LCS)의 각 요소가 표절 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 다양한 텍스트 유형과 어조 변형 패턴에 대해 얼마나 강건한가?

주요 결과

• ROUGE와 WordNet의 조합은 기존 방법에 비해 어조를 바꾼 텍스트 및 수정된 텍스트의 탐지 능력을 크게 향상시킨다.
• ROUGE의 스킵-바이그램 및 LCS는 단어 순서 변경 또는 경미한 삽입/삭제가 있을 경우에도 표절을 효과적으로 식별한다.
• WordNet은 정확한 단어가 다를지라도 동의어 대체를 통해 의미적 동치성을 식별함으로써 탐지 능력을 향상시킨다.
• n-gram 공존 통계는 정확한 복사본 및 경미한 어순 변경을 효과적으로 탐지한다.
• 하이브리드 접근 방식은 지문 기반 또는 어근 빈도 기반 방법만을 사용할 경우보다 수정된 텍스트에 대해 더 높은 재현율을 달성한다.
• 이 시스템은 동의어 교체 및 문장 재구성과 같은 다양한 어조 변형 패턴에 대해 표절 탐지 능력이 향상되어 강건함을 입증한다.