[논문 리뷰] Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text

Mahdi Dhaini, Wessel Poelman외 1명|arXiv (Cornell University)|2023. 09. 14.

Artificial Intelligence in Healthcare and Education인용 수 9

한 줄 요약

학술 연구, 데이터셋, 질적 인사이트에 초점을 맞춘 ChatGPT 생성 텍스트 탐지를 위한 데이터셋과 방법의 포괄적 조사로, 강건성 및 다국어성에 대한 논의 포함.

ABSTRACT

While recent advancements in the capabilities and widespread accessibility of generative language models, such as ChatGPT (OpenAI, 2022), have brought about various benefits by generating fluent human-like text, the task of distinguishing between human- and large language model (LLM) generated text has emerged as a crucial problem. These models can potentially deceive by generating artificial text that appears to be human-generated. This issue is particularly significant in domains such as law, education, and science, where ensuring the integrity of text is of the utmost importance. This survey provides an overview of the current approaches employed to differentiate between texts generated by humans and ChatGPT. We present an account of the different datasets constructed for detecting ChatGPT-generated text, the various methods utilized, what qualitative analyses into the characteristics of human versus ChatGPT-generated text have been performed, and finally, summarize our findings into general insights

연구 동기 및 목표

• 도메인(법, 교육, 과학) 전반에서 인간 생성 텍스트와 ChatGPT 생성 텍스트를 구분해야 하는 필요성에 대한 동기 부여.
• ChatGPT 탐지에 특히 개발된 데이터셋과 방법을 검토.
• 인간과 ChatGPT 텍스트 간의 언어적 및 문체적 차이에 관한 질적 인사이트를 요약.
• 탐지의 한계점, 과제 및 향후 연구 방향을 강조.
• 데이터셋 및 방법 선택을 가이드하기 위한 통합적 관점 제공.

제안 방법

• 탐지 접근법을 분류하고 정리(분류기 기반, 제로샷, 혼합도 기반, 설명가능성 주도).
• ChatGPT 탐지를 위해 만들어진 데이터셋을 모으고 요약(도메인, 언어, 공개 여부, 그리고 도메인 외 변형).
• 성능, 적대적 프롬프트에 대한 강건성, 다국어 능력에 따라 방법 비교.
• 도메인 전반에서 인간 대 ChatGPT 텍스트를 구별하는 질적 언어적 특징 추출.
• 탐지기의 의사결정을 분석하는 SHAP 등의 설명가능성 도구를 논의.
• 일반적인 통찰을 종합하고 미해결 도전과 향후 방향을 개략화.

실험 결과

연구 질문

• RQ1 ChatGPT 생성 텍스트를 탐지하기 위해 존재하는 데이터셋은 무엇이며 공개적으로 이용 가능한가?
• RQ2 ChatGPT 생성 텍스트를 위해 특별히 제안된 탐지 방법은 무엇이며 언어 및 도메인에 따라 어떻게 다르는가?
• RQ3 언어적 및 문체적 특성이 도메인 전반에서 인간과 ChatGPT 글쓰기를 어떻게 구분하는가?
• RQ4 대상 프랙티스(적대적 공격, 도메인 밖 텍스트, 다국어성)에 대한 주요 도전과 강건성 concern은 무엇인가?

주요 결과

• 다양한 도메인(교육, 과학, 의학, 일반 QA)에 걸친 다수의 데이터셋이 존재한다.
• RoBERTa 또는 트랜스포머 기반 탐지기가 종종 혼합도 기반 기준선보다 성능이 우수하며, 일부 적대적 변형에 대해 강건하다.
• 영어 데이터를 기반으로 학습된 언어모델이 일반적으로 다국어 모델보다 탐지 задач에서 우수하다.
• 설명가능성 방법(예: SHAP)은 탐지기의 의사결정을 해석하고 두드러진 특징을 식별하는 데 도움을 준다.
• 도메인 밖 데이터와 적대적 변형(오탈자, 동형 글자)에서는 탐지 성능이 저하된다.
• 짧은 텍스트 길이는 탐지 신뢰도를 낮추고, 더 길고 전체 맥락 텍스트가 더 나은 결과를 낸다.