[논문 리뷰] Cognitive Constraint Simulation and the Geometry of Human Authorship: A First-Principles Theory of AI Text Detection

Eric Mitchell|arXiv (Cornell University)|2023. 01. 26.

Topic Modeling인용 수 152

한 줄 요약

DetectGPT는 실제/생성된 샘플로 학습하지 않고, 모델의 로그-확률의 국부 곡률(local curvature)을 이용해 모델이 생성한 텍스트와 사람이 쓴 텍스트를 구분하는 제로샷 텍스트 감지 방법을 도입한다.

ABSTRACT

The increasing fluency and widespread usage of large language models (LLMs) highlight the desirability of corresponding tools aiding detection of LLM-generated text. In this paper, we identify a property of the structure of an LLM's probability function that is useful for such detection. Specifically, we demonstrate that text sampled from an LLM tends to occupy negative curvature regions of the model's log probability function. Leveraging this observation, we then define a new curvature-based criterion for judging if a passage is generated from a given LLM. This approach, which we call DetectGPT, does not require training a separate classifier, collecting a dataset of real or generated passages, or explicitly watermarking generated text. It uses only log probabilities computed by the model of interest and random perturbations of the passage from another generic pre-trained language model (e.g., T5). We find DetectGPT is more discriminative than existing zero-shot methods for model sample detection, notably improving detection of fake news articles generated by 20B parameter GPT-NeoX from 0.81 AUROC for the strongest zero-shot baseline to 0.95 AUROC for DetectGPT. See https://ericmitchell.ai/detectgpt for code, data, and other project information.

연구 동기 및 목표

• 특정 언어 모델이 생성했는지 여부를 제로샷 감지를 사용하여 판단한다.
• 기계가 생성한 텍스트가 모델의 로그-확률 함수의 음의 곡률 영역에 위치하는지 탐구한다.
• 실제/생성 데이터에 대한 라벨링이나 텍스트 워터마킹을 필요로 하지 않는 실용적 탐지기를 개발한다.
• 여러 데이터세트와 모델 크기에 걸쳐 방법을 검증하고 기존 제로샷 벤치라인과 비교한다.

제안 방법

• 모델이 생성한 텍스트가 log p(x)의 음의 곡률 영역에 위치한다고 가정한다.
• perturbation discrepancy d(x,p,q) = log p(x) - E_{ ilde{x}~q(.|x)} log p( ilde{x}).
• log p(x)의 해시안의 -trace를 Hutchinson의 트레이스 추정기와 유한 차분으로 근사하여 곡률을 근사한다.
• 데이터 매니폴드 상의 인근 구절을 생성하기 위해 마스크 채움 perturbation 모델(예: T5)을 사용한다.
• 정규화된 perturbation discrepancy를 계산하고 임계값을 적용해 x가 p에 의해 생성되었는지 결정한다.
• 출처 모델 p_theta와 q에서 얻은 perturbation으로 x를 점수화하고 임계값 epsilon을 두는 알고리즘 DetectGPT를 제공한다.

Figure 1: We aim to determine whether a piece of text was generated by a particular LLM $p$ , such as GPT-3. To classify a candidate passage $x$ , DetectGPT first generates minor perturbations of the passage $\tilde{x}_{i}$ using a generic pre-trained model such as T5. Then DetectGPT compares the lo

실험 결과

연구 질문

• RQ1 주어진 LLM이 생성한 텍스트가 사람 작성 텍스트보다 모델의 로그-확률의 더 음의 곡률 영역에 위치하는가?
• RQ2 로컬 곡률 정보를 이용한 제로샷 탐지기가 전역 로그 확률에 의존하는 기존 제로샷 방법보다 더 우수한가?
• RQ3 패러프레이징, 서로 다른 perturbation 모델, 교차 모델 스코어링 시나리오에 대해 DetectGPT의 견고성은 어느 정도인가?
• RQ4 모델/perturbation 용량, perturbation 양, 데이터 도메인이 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• DetectGPT는 여러 모델(1.5B에서 20B 파라미터)과 도메인에 걸쳐 제로샷 벤치마크 대비 AUROC를 일관되게 향상시킨다.
• 음의 곡률과 연계된 perturbation discrepancy가 실험에서 모델 생성 텍스트와 인간 작성 텍스트를 신뢰성 있게 구분한다.
• 더 큰 마스크 채움 perturbation 모델(예: T5 계열)과 더 많은 perturbation을 사용하면 약 100 perturbations에서 수렴에 이르며 탐지 성능이 향상된다.
• 기계생성 텍스트의 패러프레이즈/수정 및 서로 다른 디코딩 전략에서도 탐지 성능이 여전히 강하게 유지되며, 제로샷 탐지기는 일반적으로 감독형보다 도메인 일반화에 더 우수하다.
• 교차 모델 스코어링에서 DetectGPT는 텍스트를 생성한 동일한 모델로 스코어링할 때 가장 효과적이지만, 대리 스코어러에서도 유용성을 제공한다.
• DetectGPT는 여러 설정에서 strongest zero-shot baseline 대비 AUROC를 약 0.1만큼 향상시킨다(논문에 보고된 바와 같이).

Figure 2: We identify and exploit the tendency of machine-generated passages $x\sim p_{\theta}(\cdot)$ (left) to lie in negative curvature regions of $\log p(x)$ , where nearby samples have lower model log probability on average. In contrast, human-written text $x\sim p_{real}(\cdot)$ (right) tends