Skip to main content
QUICK REVIEW

[논문 리뷰] Fast-DetectGPT: Efficient Zero-Shot Detection of Machine-Generated Text via Conditional Probability Curvature

Guangsheng Bao, Yanbin Zhao|arXiv (Cornell University)|2023. 10. 08.
Topic ModelingComputer Science인용 수 19
한 줄 요약

Fast-DetectGPT는 제로샷 설정에서 기계생성 텍스트를 탐지하기 위해 조건부 확률 곡률을 도입하며, DetectGPT보다 더 높은 정확도를 달성하는 동시에 계산량을 대폭 줄여 최대 340배 빠릅니다.

ABSTRACT

Large language models (LLMs) have shown the ability to produce fluent and cogent content, presenting both productivity opportunities and societal risks. To build trustworthy AI systems, it is imperative to distinguish between machine-generated and human-authored content. The leading zero-shot detector, DetectGPT, showcases commendable performance but is marred by its intensive computational costs. In this paper, we introduce the concept of conditional probability curvature to elucidate discrepancies in word choices between LLMs and humans within a given context. Utilizing this curvature as a foundational metric, we present **Fast-DetectGPT**, an optimized zero-shot detector, which substitutes DetectGPT's perturbation step with a more efficient sampling step. Our evaluations on various datasets, source models, and test conditions indicate that Fast-DetectGPT not only surpasses DetectGPT by a relative around 75% in both the white-box and black-box settings but also accelerates the detection process by a factor of 340, as detailed in Table 1. See \url{https://github.com/baoguangsheng/fast-detect-gpt} for code, data, and results.

연구 동기 및 목표

  • 도메인과 모델에 걸쳐 기계생성 텍스트와 인간이 작성한 텍스트를 구분함으로써 신뢰할 수 있는 AI를 고양한다.
  • 사람과 기계 간의 어휘 선택 차이를 포착하기 위한 새로운 특징인 조건부 확률 곡률을 제안한다.
  • 반복적인 모델 평가를 피함으로써 계산을 줄이는 효율적인 제로샷 탐지기(Fast-DetectGPT)를 개발한다.
  • 화이트박스 및 블랙박스 설정, 디코딩 전략, 실제 모델에 걸친 강인성을 입증한다.
  • 이전 탐지기들에 비해 향상된 정확도와 현저한 속도향상의 실증적 증거를 제공한다.

제안 방법

  • 조건부 확률 곡률을 기계생성 텍스트와 인간이 작성한 텍스트 간의 토큰 수준 차이 지표로 정의한다.
  • DetectGPT의 섭동 기반 채점을 단일 순전파에서 평가되는 조건부 확률 항 p(˜x|x)로 대체한다.
  • 샘플링 모델 qφ(˜x|x)를 사용하여 x를 조건으로 한 대체 토큰을 샘플링하고, 샘플들에 걸쳐 log pθ(˜x|x)로부터 μ̃와 σ̃를 계산한다.
  • 곡률 d̂x = (log pθ(x) − μ̃)/σ̃ 를 계산하여 기계생성 텍스트인지 인간 작성 텍스트인지를 판단한다.
  • 샘플링과 채점이 동일한 모델을 공유할 때, 곡률이 Likelihood와 Entropy 기본값의 조합으로 축소됨을 보인다.
  • 토큰 수준 독립성을 활용한 μ̃와 σ̃에 대한 해석적 해를 제공하여 반복적인 모델 호출을 피한다.
Figure 1: Distribution of conditional probability curvatures of the original human-written passages and the machine-generated passages by four source models on 30-token prefix from XSum.
Figure 1: Distribution of conditional probability curvatures of the original human-written passages and the machine-generated passages by four source models on 30-token prefix from XSum.

실험 결과

연구 질문

  • RQ1조건부 확률 곡률이 제로샷 설정에서 기계생성 텍스트를 사람 작성 텍스트와 신뢰하게 구분할 수 있는가?
  • RQ2Fast-DetectGPT가 DetectGPT에 비해 계산 비용을 줄이면서 탐지 정확도를 유지하거나 향상시키는가?
  • RQ3화이트박스 대 블랙박스 설정 및 다양한 데이터셋과 소스 모델에 대해 이 접근법은 어떻게 성능을 발휘하는가?
  • RQ4다양한 디코딩 전략과 패러프레이즈 공격에 대해 방법은 얼마나 강건한가?
  • RQ5곡률 기반 탐지와 전통적 기준인 Likelihood 및 Entropy 사이의 관계는 무엇인가?

주요 결과

  • Fast-DetectGPT는 여러 데이터셋과 모델에서 DetectGPT보다 더 높은 AUROC를 달성하며 평균 약 75% 정도의 개선을 보인다.
  • 화이트박스 설정에서 Fast-DetectGPT는 5-모델 및 ChatGPT/GPT-4 생성에서 더 높은 AUROC를 달성한다(예: 0.9887 vs 0.9554).
  • 블랙박스 설정에서 Fast-DetectGPT는 DetectGPT보다 우수한 성능을 보인다(예: GPT-J/Neo-2.7 점수에서 평균 AUROC 개선 ~74%).
  • 이 방법은 XSum 유래 벤치마크에서 DetectGPT보다 최대 340배 빠른 현저한 속도향상을 제공한다.
  • 실세계 시나리오에서 GPT-3, ChatGPT 및 GPT-4를 대상으로도 Fast-DetectGPT의 탐지 성능이 우수하며, 종종 AUROC에서 지도학습 탐지기보다 앞서는 경우가 많다.
  • Fast-DetectGPT는 디코딩 전략(top-p, top-k, temperature)에 대해 견고한 성능을 보이며, 패러프레이즈 공격에도 다른 제로샷 탐지기에 비해 강건한 편이다.
Figure 2: Fast-DetectGPT v.s. DetectGPT (Mitchell et al., 2023 ) . Fast-DetectGPT uses a conditional probability function $p(\tilde{x}|x)$ as defined in Eq. 2 . Notably, Fast-DetectGPT invokes the sampling GPT once to generate all samples and similarly calls the scoring GPT once to evaluate all samp
Figure 2: Fast-DetectGPT v.s. DetectGPT (Mitchell et al., 2023 ) . Fast-DetectGPT uses a conditional probability function $p(\tilde{x}|x)$ as defined in Eq. 2 . Notably, Fast-DetectGPT invokes the sampling GPT once to generate all samples and similarly calls the scoring GPT once to evaluate all samp

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.