[논문 리뷰] Will ChatGPT get you caught? Rethinking of Plagiarism Detection

Mohammad Khalil, Erkan Er|arXiv (Cornell University)|2023. 02. 08.

Artificial Intelligence in Healthcare and Education인용 수 47

한 줄 요약

본 논문은 ChatGPT가 생성한 에세이를 두 개의 표절 탐지기로 50개 주제에 대해 검사하고 높은 독창성과 탐지의 한계를 발견하며, ChatGPT가 자체 출력물을 기존 도구보다 더 잘 식별할 수 있음을 보여준다.

ABSTRACT

The rise of Artificial Intelligence (AI) technology and its impact on education has been a topic of growing concern in recent years. The new generation AI systems such as chatbots have become more accessible on the Internet and stronger in terms of capabilities. The use of chatbots, particularly ChatGPT, for generating academic essays at schools and colleges has sparked fears among scholars. This study aims to explore the originality of contents produced by one of the most popular AI chatbots, ChatGPT. To this end, two popular plagiarism detection tools were used to evaluate the originality of 50 essays generated by ChatGPT on various topics. Our results manifest that ChatGPT has a great potential to generate sophisticated text outputs without being well caught by the plagiarism check software. In other words, ChatGPT can create content on many topics with high originality as if they were written by someone. These findings align with the recent concerns about students using chatbots for an easy shortcut to success with minimal or no effort. Moreover, ChatGPT was asked to verify if the essays were generated by itself, as an additional measure of plagiarism check, and it showed superior performance compared to the traditional plagiarism-detection tools. The paper discusses the need for institutions to consider appropriate measures to mitigate potential plagiarism issues and advise on the ongoing debate surrounding the impact of AI technology on education. Further implications are discussed in the paper.

연구 동기 및 목표

• 교육 맥락에서 ChatGPT가 생성한 에세이의 독창성 평가.
• AI가 생성한 콘텐츠에 대한 대중적인 표절 탐지 도구의 효과성 평가.
• ChatGPT가 생성한 콘텐츠를 스스로 검증할 수 있는지 여부를 조사하고 이를 전통적 탐지 도구와 비교.
• 교육 현장에서 AI 보조 표절을 완화하기 위한 제도적 조치 논의.

제안 방법

• ChatGPT를 사용하여 다양한 주제에 대한 50편의 에세이를 생성한다.
• 두 가지 인기 있는 표절 탐지 도구를 사용하여 출력물의 독창성 평가.
• 각 에세이가 ChatGPT에 의해 생성되었는지 확인하도록 ChatGPT에 요청하고 결과를 탐지기 출력과 비교한다.
• 결과를 분석하여 교육 및 정책에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 표절 탐지기가 ChatGPT가 생성한 AI 에세이를 신뢰할 수 있게 식별할 수 있는가?
• RQ2 일반적인 표절 탐지 도구가 AI가 생성한 콘텐츠를 인간이 작성한 작품과 비교했을 때 얼마나 효과적인가?
• RQ3 ChatGPT가 에세이가 자신에 의해 생성되었는지 정확히 판단할 수 있는가, 그리고 이것이 탐지 방법과 어떻게 비교되는가?

주요 결과

• ChatGPT는 사용된 탐지기에 따라 많은 주제에 대해 높은 독창성을 가진 텍스트를 생성할 수 있다.
• 두 가지 유명한 표절 탐지 도구는 ChatGPT가 생성한 콘텐츠를 표시하는 데 어려움을 겪을 수 있다.
• ChatGPT의 자체 검증 성능은 전통적인 표절 탐지 도구를 능가할 수 있다.
• 이 연구 결과는 교육 현장에서 AI 보조의 쉬운 편법에 대한 우려를 뒷받침하고 제도적 완화의 필요성을 강조한다.
• 본 논문은 교육 분야의 AI에 관한 지속적인 논쟁과 정책 고려사항을 다룬다.