[논문 리뷰] TURINGBENCH: A Benchmark Environment for Turing Test in the Age of Neural Text Generation

Adaku Uchendu, Zeyu Ma외 3명|arXiv (Cornell University)|2021. 09. 27.

Topic Modeling인용 수 4

한 줄 요약

TuringBench는 투링 테스트 및 저자 특정 분석 맥락에서 기계로 생성된 텍스트를 평가하기 위한 최초의 종합 벤치마크 환경를 제공한다. 이는 GPT-3, GPT-2 및 FAIR 모델을 포함한 20개의 텍스트 생성 모델에서 유래한 20만 개 샘플을 포함하며, 핵심 작업으로는 투링 테스트 및 저자 특정 분석이 있으며, 온라인 랭킹이 제공된다. FAIR_wmt20와 GPT-3가 가장 인간다운 텍스트를 생성하여 최고의 성능을 보이며, 최신 검출 모델들 중에서 가장 낮은 F1 점수(최고의 성능)를 기록한다.

ABSTRACT

Recent progress in generative language models has enabled machines to generate astonishingly realistic texts. While there are many legitimate applications of such models, there is also a rising need to distinguish machine-generated texts from human-written ones (e.g., fake news detection). However, to our best knowledge, there is currently no benchmark environment with datasets and tasks to systematically study the so-called "Turing Test" problem for neural text generation methods. In this work, we present the TuringBench benchmark environment, which is comprised of (1) a dataset with 200K human- or machine-generated samples across 20 labels {Human, GPT-1, GPT-2_small, GPT-2_medium, GPT-2_large, GPT-2_xl, GPT-2_PyTorch, GPT-3, GROVER_base, GROVER_large, GROVER_mega, CTRL, XLM, XLNET_base, XLNET_large, FAIR_wmt19, FAIR_wmt20, TRANSFORMER_XL, PPLM_distil, PPLM_gpt2}, (2) two benchmark tasks -- i.e., Turing Test (TT) and Authorship Attribution (AA), and (3) a website with leaderboards. Our preliminary experimental results using TuringBench show that FAIR_wmt20 and GPT-3 are the current winners, among all language models tested, in generating the most human-like indistinguishable texts with the lowest F1 score by five state-of-the-art TT detection models. The TuringBench is available at: https://turingbench.ist.psu.edu/

연구 동기 및 목표

• 신경 텍스트 생성에서 인간이 작성한 텍스트와 기계로 생성된 텍스트를 구분하기 위한 체계적인 평가가 급박하게 필요하다는 문제를 해결하기 위해.
• 다양하고 고도로 품질이 높은 데이터셋을 포함한 표준화된 벤치마크 환경을 구축하기 위해.
• 투링 테스트(인간 대 기계 분류의 이진 분류) 및 저자 특정 분석(특정 모델 출처 식별)이라는 두 가지 핵심 작업을 통해 AI 생성 콘텐츠 탐지에 대한 연구를 가능하게 하기 위해.
• 공개적이고 확장 가능한 플랫폼을 제공하여 강력한 검출 모델 개발을 지원하고, 랭킹과 실제 정치 뉴스 프롬프트를 통해 실생활 시나리오를 반영하기 위해.
• 현재 검출 방법의 한계와 스타일의 수렴으로 인해 기계로 생성된 텍스트와 인간의 글쓰기 간의 구분이 점점 더 어려워지고 있음을 부각하기 위해.

제안 방법

• 벤치마크는 CNN 및 워싱턴 포스트와 같은 언론사의 인간이 작성한 뉴스 기사와 유사한 기사들을 생성하도록 19개의 신경 텍스트 생성 모델에 프롬프트를 제공하여 총 20만 개의 뉴스 기사(1만 개의 제목, 20개의 레이블)로 구성된 데이터셋을 구축한다.
• 각 샘플은 출처로 레이블이 지정되며, 1개는 인간, 19개는 기계 모델(예: GPT-3, GPT-2, GROVER, FAIR, PPLM 등)이다.
• 두 가지 벤치마크 작업이 정의된다: (1) 투링 테스트 — 인간 대 기계 생성 텍스트의 이진 분류; (2) 저자 특정 분석 — 사용된 특정 모델을 식별하는 다중 클래스 분류.
• 공개 웹사이트가 데이터셋, 랭킹 및 평가 도구를 호스팅하여 커뮤니티 참여와 모델 비교를 장려한다.
• 통계적 및 시각화 분석(예: LIWC 심리언어적 특징의 주성분 분석)을 통해 인간과 기계로 생성된 텍스트 간의 스타일 유사성과 차이를 연구한다.
• Turing 테스트에서 검출 모델 성능 평가에 F1 점수를 사용하며, 텍스트 길이 및 모델 복잡성에 대한 분석도 수행한다.

실험 결과

연구 질문

• RQ1 어느 신경 텍스트 생성 모델이 인간의 글쓰기와 구분되지 않을 정도로 가장 인간다운 텍스트를 생성하는가?
• RQ2 최신 검출 모델들이 다양한 언어 모델을 대상으로 투링 테스트 작업에서 얼마나 잘 수행되는가?
• RQ3 기존의 저자 특정 분석 모델(예: SVM, 랜덤 포레스트)은 스타일적 특징을 바탕으로 20개의 다른 신경 텍스트 생성 모델을 효과적으로 구분할 수 있는가?
• RQ4 텍스트 길이와 모델 아키텍처가 투링 테스트 및 저자 특정 분석 작업의 검출 성능에 어떤 영향을 미치는가?
• RQ5 현재 검출 모델이 인간과 기계로 생성된 텍스트 간의 미세한 스타일적 차이를 포착하는 데에 어떤 한계를 지닌다.

주요 결과

• FAIR_wmt20와 GPT-3는 가장 인간다운 텍스트를 생성하여 투링 테스트에서 19개의 모델 중에서 가장 낮은 F1 점수(최고의 검출 성능)를 기록하며, 가장 높은 구분 불가능성을 보였다.
• 텍스트 길이(100–400 토큰)와 검출 성능 사이에 명확한 상관관계는 없으며, RoBERTa를 제외한 모든 모델에서 그러한 경향을 보였다.
• 기존의 저자 특정 분석 모델(SVM, 랜덤 포레스트)조차도 20명의 저자 간 스타일적 차이를 완전히 포착하지 못하며, 더 정교한 모델이 필요함을 시사한다.
• 심리언어적 특징(LIWC) 분석 결과, 인간이 작성한 텍스트는 넓은 스타일 범위를 포함하는 반면, 기계로 생성된 텍스트는 특징 공간에서 빽빽이 뭉쳐져 있어 모델의 스타일 다양성이 제한됨을 시사한다.
• 20명의 저자 간 스타일적 특징의 겹침은 기계로 생성된 텍스트가 점점 인간의 글쓰기와 유사해지고 있음을 의미하며, 이는 검출을 더욱 어렵게 하고 있다.
• 결과적으로 블랙박스 검출기는 부적절하며, 향후 연구는 신경 텍스트 생성에서 미세하고 유의미한 패턴을 식별할 수 있는 설명 가능한 검출 프레임워크 개발에 초점을 맞춰야 한다.