[논문 리뷰] How Large Language Models are Transforming Machine-Paraphrased Plagiarism

Jan Philip Wahle, Terry Ruas외 2명|arXiv (Cornell University)|2022. 10. 07.

Topic Modeling참고 문헌 40인용 수 6

한 줄 요약

이 연구는 대규모 언어 모델(GPT-3 및 T5)이 인간의 복원문을 얼마나 유사하게 생성하여 인간의 감지와 자동화된 표절 탐지 도구를 회피하는지 조사한다. 연구 결과, GPT-3가 생성한 복원문은 인간이 원본으로 잘못 인식하는 경우가 53%에 달하며, 고급 탐지 모델조차도 어려움을 겪는다. 다만 GPT-3는 자체가 생성한 복원문을 탐지하는 데 F1 점수 66%를 기록하여 학술 윤리 시스템에 있어 심각한 도전 과제를 드러낸다.

ABSTRACT

The recent success of large language models for text generation poses a severe threat to academic integrity, as plagiarists can generate realistic paraphrases indistinguishable from original work. However, the role of large autoregressive transformers in generating machine-paraphrased plagiarism and their detection is still developing in the literature. This work explores T5 and GPT-3 for machine-paraphrase generation on scientific articles from arXiv, student theses, and Wikipedia. We evaluate the detection performance of six automated solutions and one commercial plagiarism detection software and perform a human study with 105 participants regarding their detection performance and the quality of generated examples. Our results suggest that large models can rewrite text humans have difficulty identifying as machine-paraphrased (53% mean acc.). Human experts rate the quality of paraphrases generated by GPT-3 as high as original texts (clarity 4.0/5, fluency 4.2/5, coherence 3.8/5). The best-performing detection model (GPT-3) achieves a 66% F1-score in detecting paraphrases.

연구 동기 및 목표

• 대규모 자동회귀 언어 모델인 GPT-3 및 T5가 인간의 원본 글과 구별되지 않을 정도로 유사한 복원문을 얼마나 잘 생성할 수 있는지 조사하는 것.
• 표절 탐지 도구(PlagScan와 같은 상용 소프트웨어 포함) 및 기계학습 모델이 기계적 복원문을 얼마나 잘 탐지하는지 평가하는 것.
• 105명의 참가자가 참여한 대규모 연구를 통해 인간이 기계 생성 복원문을 얼마나 잘 식별할 수 있는지 평가하는 것.
• arXiv, 위키백과, 학생 학위 논문에서 유래한 기계적 복원문을 포함한 공개 가능한 데이터셋을 개발하고 배포하여未래 연구를 지원하는 것.

제안 방법

• 과학 논문, 학생 학위 논문, 위키백과 항목의 원본 텍스트에서 복원문을 생성하기 위해 T5 및 GPT-3 모델을 미세조정하는 것.
• 모델 크기, 프롬프트 전략, 선택 기준을 다양하게 적용하여 의미의 일관성과 어휘적 다양성을 확보하는 복원문 예시를 생성하는 것.
• 6개의 자동화된 모델과 하나의 상용 도구(PlagScan)를 사용하여 복원문 탐지 성능을 평가하고, 기계적 복원문을 식별하는 데 있어 F1 점수를 비교하는 것.
• 105명의 참가자가 참여한 인간 연구를 수행하여 복원문 식별 정확도를 평가하고, 생성된 복원문의 유창성, 명료성, 일관성을 5점 척도로 평가하는 것.
• 이진 분류를 통해 모델이 원본 텍스트와 복원문을 구별할 수 있는지 평가하며, GPT-3가 가장 높은 탐지 성능을 보였던 것.
• 데이터셋, 코드, 결과를 모두 공개하여 기계적 복원문 표절 탐지 분야의 향후 연구를 지원하는 것.

실험 결과

연구 질문

• RQ1 GPT-3 및 T5와 같은 대규모 언어 모델이 유창성과 일관성 면에서 인간의 원본 글과 구별되지 않을 정도로 복원문을 얼마나 잘 생성할 수 있는가?
• RQ2 현재 사용 중인 자동 표절 탐지 도구(PlagScan 및 기계학습 모델 포함)가 대규모 언어 모델이 생성한 복원문을 얼마나 잘 식별할 수 있는가?
• RQ3 인간이 기계적 복원문을 식별하는 정확도는 얼마이며, 인간의 판단은 자동 탐지 시스템과 어떻게 비교되는가?
• RQ4 동일한 대규모 언어 모델(GPT-3 등)을 사용해 복원문을 생성하고 동시에 표절을 탐지할 수 있는가? 다른 모델과 비교해 성능는 어떠한가?
• RQ5 기계적 복원문을 탐지하기 어려운 데 기여하는 주요 언어적 및 구조적 특징은 무엇이며, 이를 바탕으로 탐지 성능을 향상시킬 수 있는가?

주요 결과

• 인간 전문가들이 GPT-3가 생성한 복원문을 높은 명료성(4.0/5), 유창성(4.2/5), 일관성(3.8/5)으로 평가하여 원본 텍스트와 유사한 수준을 보였다.
• 인간은 기계적 복원문을 53%의 비율로 식별하지 못했으며, 이는 AI가 생성한 복원문과 원본 글을 구별하는 데 상당한 어려움이 있음을 시사한다.
• 광범위하게 사용되는 상용 표절 탐지 도구인 PlagScan는 대규모 언어 모델이 생성한 복원문을 신뢰성 있게 탐지하지 못했다.
• 가장 높은 성능을 보인 자동 탐지 모델은 GPT-3 자체였으며, 자체가 생성한 복원문 출력을 식별하는 데 F1 점수 66%를 기록했다.
• 절대 성능가 낮지만, GPT-3와 T5는 인간 참가자들보다 기계적 복원문을 더 잘 식별했으며, 이는 모델 생성 텍스트에 탐지 가능한 통계적 패턴이 존재함을 시사한다.
• 이 연구에서 arXiv, 위키백과, 학생 학위 논문에서 유래한 복원문 데이터셋을 공개하여 향후 복원문 표절 탐지 및 대응 기술 연구를 지원한다.