[논문 리뷰] To ChatGPT, or not to ChatGPT: That is the question!

Alessandro Pegoraro, Kumari Kavita외 2명|arXiv (Cornell University)|2023. 04. 04.

Artificial Intelligence in Healthcare and Education인용 수 36

한 줄 요약

이 연구는 대규모 프롬프트-응답 데이터셋을 사용하여 ChatGPT-생성 텍스트를 online 및 학술 탐지기에서 벤치마킹하고, 어떤 탐지기도 ChatGPT 콘텐츠를 신뢰하게 탐지하지 못하며, 탐지기들이 종종 텍스트를 인간이 작성한 것으로 분류한다는 것을 발견했다.

ABSTRACT

ChatGPT has become a global sensation. As ChatGPT and other Large Language Models (LLMs) emerge, concerns of misusing them in various ways increase, such as disseminating fake news, plagiarism, manipulating public opinion, cheating, and fraud. Hence, distinguishing AI-generated from human-generated becomes increasingly essential. Researchers have proposed various detection methodologies, ranging from basic binary classifiers to more complex deep-learning models. Some detection techniques rely on statistical characteristics or syntactic patterns, while others incorporate semantic or contextual information to improve accuracy. The primary objective of this study is to provide a comprehensive and contemporary assessment of the most recent techniques in ChatGPT detection. Additionally, we evaluated other AI-generated text detection tools that do not specifically claim to detect ChatGPT-generated content to assess their performance in detecting ChatGPT-generated content. For our evaluation, we have curated a benchmark dataset consisting of prompts from ChatGPT and humans, including diverse questions from medical, open Q&A, and finance domains and user-generated responses from popular social networking platforms. The dataset serves as a reference to assess the performance of various techniques in detecting ChatGPT-generated content. Our evaluation results demonstrate that none of the existing methods can effectively detect ChatGPT-generated content.

연구 동기 및 목표

• ChatGPT 및 관련 LLM에 대한 AI생성 텍스트 탐지 방법을 조사하고 분류한다.
• 일반 벤치마크에서 ChatGPT 탐지 여부를 특별히 주장하지 않는 도구를 포함하여 기존 탐지기의 효과성을 평가한다.
• ChatGPT-생성 콘텐츠와 인간 생성 콘텐츠를 구별하는 온라인 및 학술 도구의 신뢰성을 평가한다.
• 탐지 기법의 한계를 밝히고 향후 개선 방향을 제시한다.

제안 방법

• 의학, 오픈 Q&A, 금융 분야에 걸친 ChatGPT 프롬프트, 인간 응답 및 소셜미디어 생성 콘텐츠를 포함하는 벤치마크 데이터세트를 선별한다.
• 탐지 접근법을 Black-box(간단한 분류기), 제로샷, 미세조정 기반 방법으로 OpenAI의 분류 체계를 따라 분류한다.
• 벤치마크 데이터세트에 대해 온라인 서비스를 포함한 다양한 도구와 탐지기를 시험한다.
• 평가 지표로 true positive rate(TPR)와 true negative rate(TNR)을 사용한다.
• 실세계 맥락에서 탐지기의 실용적 효과를 판단하기 위해 성능을 분석한다.

실험 결과

연구 질문

• RQ1 다양한 벤치마크에서 현재의 ChatGPT 탐지기와 일반화된 AI-텍스트 탐지기가 ChatGPT 생성 텍스트와 인간 텍스트를 구별하는 데 얼마나 효과적인가?
• RQ2 ChatGPT 프롬프트나 AI생성 텍스트를 탐지한다고 주장하는 도구가 의학, 금융, 오픈 Q&A 등 다양한 분야에서 ChatGPT 콘텐츠를 신뢰할 수 있게 식별하는가?
• RQ3 정교한 AI생성 콘텐츠에 직면했을 때 기존 탐지기의 한계와 신뢰성 문제는 무엇인가?
• RQ4 탐지기의 미흡함이 온라인 담론과 교육의 신뢰도에 어떤 함의를 갖는가?

주요 결과

• 평가된 탐지기가 ChatGPT 생성 콘텐츠에 대해 일관되게 높은 탐지 정확도를 달성하지 못한다.
• 본 연구에서 가장 효과적인 온라인 탐지기는 ChatGPT 콘텐츠에 대해 50% 미만의 true positive rate를 달성한다.
• 탐지기는 높은 true negative rate를 보이지만 종종 약 90% 수준이며, 반면 true positive rate는 낮아 텍스트를 인간이 작성했다고 분류하는 경향이 있음을 나타낸다.
• 그 결과는 다양한 맥락에서 AI생성 텍스트를 식별하기 위한 보다 강력하고 신뢰할 수 있는 방법의 필요성을 강조한다.