[논문 리뷰] Testing of Detection Tools for AI-Generated Text

Debora Weber-Wulff, Alla Anohina-Naumeca외 6명|arXiv (Cornell University)|2023. 06. 21.

Artificial Intelligence in Healthcare and Education인용 수 33

한 줄 요약

이 논문은 12개의 공공 탐지 도구와 두 개의 상용 시스템(Turnitin 및 PlagiarismCheck)을 평가하고, 일반적으로 부정확하고 텍스트를 인간이 작성한 것으로 표시하는 편향이 있음을 발견한다; 난독화(obfuscation) 방법이 탐지 성능을 크게 저하시킨다.

ABSTRACT

Recent advances in generative pre-trained transformer large language models have emphasised the potential risks of unfair use of artificial intelligence (AI) generated content in an academic environment and intensified efforts in searching for solutions to detect such content. The paper examines the general functionality of detection tools for artificial intelligence generated text and evaluates them based on accuracy and error type analysis. Specifically, the study seeks to answer research questions about whether existing detection tools can reliably differentiate between human-written text and ChatGPT-generated text, and whether machine translation and content obfuscation techniques affect the detection of AI-generated text. The research covers 12 publicly available tools and two commercial systems (Turnitin and PlagiarismCheck) that are widely used in the academic setting. The researchers conclude that the available detection tools are neither accurate nor reliable and have a main bias towards classifying the output as human-written rather than detecting AI-generated text. Furthermore, content obfuscation techniques significantly worsen the performance of tools. The study makes several significant contributions. First, it summarises up-to-date similar scientific and non-scientific efforts in the field. Second, it presents the result of one of the most comprehensive tests conducted so far, based on a rigorous research methodology, an original document set, and a broad coverage of tools. Third, it discusses the implications and drawbacks of using detection tools for AI-generated text in academic settings.

연구 동기 및 목표

• 기존 탐지 도구가 인간이 작성한 텍스트와 AI가 생성한 텍스트(ChatGPT 시대의 콘텐츠)를 신뢰할 수 있게 구분할 수 있는지 평가한다.
• 번역 및 콘텐츠 난독화가 탐지 성능에 미치는 영향을 평가한다.
• 학술 환경에서의 현재 탐지 도구와 그 한계에 대한 포괄적 개요를 제공한다.

제안 방법

• 12개의 공개적으로 이용 가능한 탐지 도구와 2개의 상용 시스템(Turnitin 및 PlagiarismCheck)을 테스트한다.
• 정확도와 오류 유형을 평가하기 위해 원본 문서 세트를 사용한다.
• 편향과 실패 모드를 식별하기 위해 정확도 분석 및 오류 유형 분석을 수행한다.
• 탐지 결과에 대한 기계 번역 및 콘텐츠 난독화의 영향을 조사한다.

실험 결과

연구 질문

• RQ1 기존 탐지 도구가 인간이 작성한 텍스트와 AI가 생성한 텍스트를 신뢰할 수 있게 구분할 수 있는가?
• RQ2 기계 번역 기술이 AI가 생성한 텍스트 탐지의 정확도에 영향을 미치는가?
• RQ3 콘텐츠 난독화 기술이 탐지 도구의 성능을 저하시키는가?
• RQ4 탐지기들이 콘텐츠를 AI가 생성한 것보다 인간이 작성한 것으로 분류하는 편향이 존재하는가?

주요 결과

• 탐지 도구는 AI가 생성한 텍스트와 인간이 작성한 텍스트를 구분하는 데 있어 정확하거나 신뢰할 수 없다.
• 주된 편향은 출력물을 AI가 생성한 것이 아니라 인간이 작성한 것으로 분류하는 방향이다.
• 콘텐츠 난독화 기술은 탐지기의 성능을 크게 악화시킨다.
• 이 연구는 다수의 도구와 설정에 걸친 포괄적이고 방법론적으로 엄밀한 평가를 제공한다.
• 이 연구는 학술 환경에서 탐지 도구의 사용에 따른 함의와 단점을 강조한다.