[논문 리뷰] An Empirical Study of AI Generated Text Detection Tools

Arslan Akram|arXiv (Cornell University)|2023. 09. 27.

Artificial Intelligence in Healthcare and Education참고 문헌 24인용 수 19

한 줄 요약

본 논문은 다중 도메인 데이터셋에서 여섯 개의 AI 생성 텍스트 탐지기를 평가하여 ChatGPT가 생성한 자료에 대한 효과를 평가한다.

ABSTRACT

Since ChatGPT has emerged as a major AIGC model, providing high-quality responses across a wide range of applications (including software development and maintenance), it has attracted much interest from many individuals. ChatGPT has great promise, but there are serious problems that might arise from its misuse, especially in the realms of education and public safety. Several AIGC detectors are available, and they have all been tested on genuine text. However, more study is needed to see how effective they are for multi-domain ChatGPT material. This study aims to fill this need by creating a multi-domain dataset for testing the state-of-the-art APIs and tools for detecting artificially generated information used by universities and other research institutions. A large dataset consisting of articles, abstracts, stories, news, and product reviews was created for this study. The second step is to use the newly created dataset to put six tools through their paces. Six different artificial intelligence (AI) text identification systems, including "GPTkit," "GPTZero," "Originality," "Sapling," "Writer," and "Zylalab," have accuracy rates between 55.29 and 97.0%. Although all the tools fared well in the evaluations, originality was particularly effective across the board.

연구 동기 및 목표

• 진짜 텍스트를 넘어 다중 도메인 ChatGPT 자료에서 탐지기를 평가할 필요성을 제기한다.
• 탐지기 평가를 위한 대규모 다중 도메인 데이터셋(기사, 초록, 이야기, 뉴스, 제품 리뷰)을 만든다.
• 새로운 데이터셋에서 최첨단 탐지 도구를 평가하여 교차 도메인 성능을 측정한다.

제안 방법

• 기사, 초록, 이야기, 뉴스, 제품 리뷰로 구성된 대규모 다중 도메인 데이터셋을 구성한다.
• 여섯 개의 AI 텍스트 탐지 도구를 시험한다: GPTkit, GPTZero, Originality, Sapling, Writer, and Zylalab.
• 데이터셋에서 각 도구의 정확도를 측정하고 도구 간 성능 범위를 보고한다.

실험 결과

연구 질문

• RQ1 다양한 도메인에서의 다양하고 진짜가 아닌 콘텐츠를 평가할 때, 현행 AI 생성 텍스트 탐지기는 얼마나 효과적인가?
• RQ2 주요 탐지 도구들 간의 교차 도메인 탐지 정확도 및 변동성은 무엇인가?
• RQ3 어떤 탐지기가 도메인 전반에 걸쳐 가장 강한 전반적 성능과 일관성을 보이는가?

주요 결과

• 탐지기 정확도는 도구 간에 55.29%에서 97.0%까지 변한다.
• Originality가 평가된 도구들 전반에서 특히 우수한 성능을 보인다.
• 도구와 도메인에 따라 성능 편차가 나타난다.