[논문 리뷰] GPT-who: An Information Density-based Machine-Generated Text Detector

Saranya Venkatraman, Adaku Uchendu외 1명|arXiv (Cornell University)|2023. 10. 09.

Topic ModelingComputer Science인용 수 3

한 줄 요약

GPT-who는 미세조정 없이도 인간과 다양한 LLM 생성 텍스트를 구분할 수 있는 심리언어학적으로 통찰을 얻은 도메인 무관 통계 검출기이다. Uniform Information Density (UID) 기반 특징을 사용하며, 다양한 도메인과 LLM에서 다중 클래스 저자 할당에서 최첨단 검출기보다 20퍼센트 이상 뛰어난 성능을 보이며, 놀라움 기반 특징 분석을 통해 계산 효율성과 해석 가능성도 유지한다.

ABSTRACT

The Uniform Information Density (UID) principle posits that humans prefer to spread information evenly during language production. We examine if this UID principle can help capture differences between Large Language Models (LLMs)-generated and human-generated texts. We propose GPT-who, the first psycholinguistically-inspired domain-agnostic statistical detector. This detector employs UID-based features to model the unique statistical signature of each LLM and human author for accurate detection. We evaluate our method using 4 large-scale benchmark datasets and find that GPT-who outperforms state-of-the-art detectors (both statistical- & non-statistical) such as GLTR, GPTZero, DetectGPT, OpenAI detector, and ZeroGPT by over $20$% across domains. In addition to better performance, it is computationally inexpensive and utilizes an interpretable representation of text articles. We find that GPT-who can distinguish texts generated by very sophisticated LLMs, even when the overlying text is indiscernible. UID-based measures for all datasets and code are available at https://github.com/saranya-venkatraman/gpt-who.

연구 동기 및 목표

• 다양한 LLM과 글쓰기 작업에서 인간 생성 텍스트의 저자 할당을 식별할 수 있는 강력하고 다중 클래스, 도메인 무관 검출기를 개발하는 것.
• Uniform Information Density (UID) 원리를 이론적으로 기반한 해석 가능한 특징 공간으로 활용하여 인간과 LLM 생성 언어 간의 미세한 통계적 차이를 탐지하는 것.
• 비용이 많이 들지 않는 미세조정을 피하면서도, 분포 외 및 알려지지 않은 모델 설정에서도 높은 성능을 유지할 수 있는 계산 효율적인 검출기를 만드는 것.
• UID 기반 특징이 시각적으로 구별되지 않는 텍스트 차이가 있을 때조차도 다양한 LLM 패밀리와 인간 저자 간을 신뢰성 있게 구분할 수 있음을 보여주는 것.
• 블랙박스 기반 LLM 검출기의 대안으로서, 저자 할당 결정의 배경이 되는 놀라움 패턴을 드러내어 설명 가능한 대안을 제공하는 것.

제안 방법

• 검출기는 사전에 준비된 언어 모델을 사용해 토큰 수준의 놀라움 확률을 계산하여 텍스트의 정보 밀도 분포를 반영하는 UID 기반 특징을 추출한다.
• 통계적 확률 분포에서 유도된 이론적으로 타당한 해석 가능한 특징 세트를 구성하여 문장과 구문 내에서 정보가 얼마나 균일하게 분포되어 있는지를 캡처한다.
• 이 UID 특징에 기반해 로지스틱 회귀 분류기를 훈련시어 인간 저자와 여러 LLM 간의 경계를 학습한다.
• 검출기는 터닝벤치, GPABenchmark, ArguGPT, Deepfake Text in-the-wild의 네 개의 대규모 벤치마크 데이터셋에서 훈련 및 평가된다.
• 이 방법은 도메인 무관이자 작업 무관하여, 재훈련이나 미세조정 없이도 글 스타일, 주제, LLM 아키텍처에 관계없이 일반화 가능하다.
• 놀라움 패턴을 시각화하고 분석함으로써 특징의 해석 가능성을 향상시켜 모델의 결정 과정에 대한 통찰을 가능하게 한다.

Figure 1: GPT-who leverages psycholinguistically motivated representations that capture authors’ information signatures distinctly, even when the corresponding text is indiscernible.

실험 결과

연구 질문

• RQ1 Uniform Information Density (UID) 원리가 인간과 LLM 생성 텍스트를 구분하는 신뢰할 수 있는 통계적 서명으로 기능할 수 있는가?
• RQ2 UID 기반 특징이 모델의 미세조정 없이도 다양한 LLM과 도메인에서 정확한 다중 클래스 저자 할당을 가능하게 할 수 있는가?
• RQ3 인간 생성 텍스트의 UID 분포는 다양한 LLM과 비교해 정보 전파 방식과 아키텍처 유사성 측면에서 어떻게 다를까?
• RQ4 UID 기반 특징이 제로샷 및 분포 외 설정에서 통계적 및 딥러닝 기반 검출기보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 어휘적 및 문법적 신호가 구별되지 않을 때조차도 UID 특징이 텍스트 생성의 미세한 차이를 탐지할 수 있는가?

주요 결과

• GPT-who는 GLTR, GPTZero, ZeroGPT와 같은 최첨단 통계 검출기보다 모든 벤치마크 데이터셋에서 F1 스코어로 20퍼센트 이상 뛰어나며, 특히 도메인 간 및 모델 간 탐지에서 뛰어난 성능을 보였다.
• Deepfake Text in-the-wild 데이터셋에서 GPT-who는 가장 도전적인 '알려지지 않은 모델 및 알 수 없는 도메인' 설정에서 F1 스코어 0.85를 기록했으며, GLTR(0.74)와 DetectGPT(0.57)를 모두 앞섰다.
• ArguGPT 데이터셋에서 GPT-who의 F1 스코어는 0.84였으며, 인간 전문가(0.51)를 뛰어나고, 미세조정된 RoBERTa 모델과 동일한 성능을 보였다. 이는 미세조정 없이도 성능을 달성한 것이다.
• GPABenchmark 데이터셋에서 GPT-who의 정확도는 7개의 고도로 발전된 LLM의 텍스트 탐지에서 GPTZero, ZeroGPT, OpenAI의 검출기보다 40퍼센트 이상 뛰어났다.
• 인간 생성 텍스트는 LLM보다 정보 분포가 더 불균형하고 다양하며, UID 특징은 아키텍처 유사성을 반영한다. 동일한 패밀리에 属하는 모델들은 UID 공간에서 서로 밀집해 클러스터링된다.
• 이 방법은 계산 효율성과 해석 가능성을 유지하며, 단지 사전 훈련된 언어 모델과 로지스틱 회귀만을 사용하고, 어떤 종류의 미세조정이나 복잡한 아키텍처도 필요로 하지 않는다.

Figure 2: GPT-who uses token probabilities of articles to extract UID-based features. A classifier then learns to map UID features to different authors, and identify the author of a new unseen article.