[논문 리뷰] How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection

Biyang Guo, Xin Zhang외 6명|arXiv (Cornell University)|2023. 01. 18.

Artificial Intelligence in Healthcare and Education인용 수 292

한 줄 요약

이 논문은 HC3(대형 인간-ChatGPT 비교 코퍼스)를 소개하고, ChatGPT와 인간 전문가 간의 언어적 및 지각적 차이를 분석하며, AI 생성 콘텐츠와 인간 생성 콘텐츠를 구분하는 탐지기를 개발합니다. 데이터와 모델은 오픈 소스로 공개됩니다.

ABSTRACT

The introduction of ChatGPT has garnered widespread attention in both academic and industrial communities. ChatGPT is able to respond effectively to a wide range of human questions, providing fluent and comprehensive answers that significantly surpass previous public chatbots in terms of security and usefulness. On one hand, people are curious about how ChatGPT is able to achieve such strength and how far it is from human experts. On the other hand, people are starting to worry about the potential negative impacts that large language models (LLMs) like ChatGPT could have on society, such as fake news, plagiarism, and social security issues. In this work, we collected tens of thousands of comparison responses from both human experts and ChatGPT, with questions ranging from open-domain, financial, medical, legal, and psychological areas. We call the collected dataset the Human ChatGPT Comparison Corpus (HC3). Based on the HC3 dataset, we study the characteristics of ChatGPT's responses, the differences and gaps from human experts, and future directions for LLMs. We conducted comprehensive human evaluations and linguistic analyses of ChatGPT-generated content compared with that of humans, where many interesting results are revealed. After that, we conduct extensive experiments on how to effectively detect whether a certain text is generated by ChatGPT or humans. We build three different detection systems, explore several key factors that influence their effectiveness, and evaluate them in different scenarios. The dataset, code, and models are all publicly available at https://github.com/Hello-SimpleAI/chatgpt-comparison-detection.

연구 동기 및 목표

• 다양한 도메인에 걸친 인간 전문가와 ChatGPT의 질문과 답변을 포함하는 대규모 HC3 데이터셋을 구성한다.
• 인간 평가 및 언어 분석을 수행하여 인간과 ChatGPT 응답 간의 차이를 특징화한다.
• 다양한 시나리오에서 AI 생성 텍스트와 인간 생성 텍스트를 구분하는 탐지기를 개발하고 평가한다.
• 향후 연구와 플랫폼 규제를 지원하기 위해 데이터셋, 평가 및 탐지 모델을 오픈 소스로 공개한다.

제안 방법

• 공개 QA 데이터셋과 위키 소스에서 HC3를 구성하여 질문과 인간/ChatGPT의 답변을 수집한다.
• 전문가/아마추어 튜링 테스트 및 유용성 평가를 포함한 다면적 인간 평가를 수행한다.
• 인간 대 ChatGPT 출력 비교를 위한 언어 분석(POS, 의존구문, 감정, perplexity)을 수행한다.
• 다양한 데이터 조건에서 GLTR 기반 로지스틱 회귀, RoBERTa 단일 텍스트, RoBERTa QA의 세 가지 탐지 시스템을 학습 및 평가한다.
• 여섯 가지 데이터 변형(raw/filtered, full/sent, sentences/mixed) 생성으로 내적 데이터의 강건성/일반화 성능을 검토하고 OOD 성능을 테스트한다.

실험 결과

연구 질문

• RQ1 ChatGPT와 인간 전문가가 도메인 전체에서 언어적 및 스타일적 특성에서 어떻게 다른가?
• RQ2 AI 생성 콘텐츠의 탐지 가능성에 영향을 주는 요인은 무엇인가?
• RQ3 다양한 데이터 조건과 여섯 가지 변형 데이터셋에서 다양한 AI 콘텐츠 탐지기가 얼마나 강건한가?
• RQ4 HC3 분석을 바탕으로 향후 LLM 개발 및 플랫폼 거버넌스에 어떤 지침을 제공할 수 있는가?

주요 결과

• ChatGPT의 답변은 일반적으로 더 정리되어 있고 더 길며 더 중립적이며, 고유한 품사 및 의존 구문 패턴을 보인다.
• 인간은 더 큰 어휘력과 더 다양한 표현을 사용하는 경향이 있으며, ChatGPT는 더 낮은 perplexity와 더 일관된 스타일 패턴을 보인다.
• 인간 평가에서 두 답변이 한 쌍으로 제시될 때 ChatGPT를 구분하기가 더 쉬우며, 전문가가 아마추어보다 탐지 작업에서 우수하다.
• ChatGPT 콘텐츠는 많은 도메인(재정, 심리학)에서 더 유익하다고 인식되는 경향이 있지만 의학 도메인에서는 지나치게 길거나 조심스러운 응답으로 인해 덜 유용하게 평가된다.
• 언어 분석에서 ChatGPT는 명사, 동사, 한정사, 접속사를 더 많이 사용하고, 인간은 더 다양한 감정 및 주관적 표현을 보인다.