[논문 리뷰] Smaller Language Models are Better Black-box Machine-Generated Text Detectors

Fatemehsadat Mireshghallah, Justus Mattern외 3명|arXiv (Cornell University)|2023. 05. 17.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 곡률 기반 局소 최적성(curvature-based local optimality)을 활용하여 더 작은 언어 모델을 보편적인 탐지기로 사용하여 기계로 생성된 텍스트의 zero-shot 탐지를 연구한다. 연구 결과, 더 작은 부분 훈련된 모델이 더 큰 모델보다 교차 탐지에서 뛰어난 성능을 보이며, OPT-125M는 ChatGPT 출력물에서 AUC 0.81을 기록하여 GPTJ-6B(이하 AUC 0.45)와 같은 더 큰 모델보다 훨씬 뛰어난 성능을 보였다.

ABSTRACT

With the advent of fluent generative language models that can produce convincing utterances very similar to those written by humans, distinguishing whether a piece of text is machine-generated or human-written becomes more challenging and more important, as such models could be used to spread misinformation, fake news, fake reviews and to mimic certain authors and figures. To this end, there have been a slew of methods proposed to detect machine-generated text. Most of these methods need access to the logits of the target model or need the ability to sample from the target. One such black-box detection method relies on the observation that generated text is locally optimal under the likelihood function of the generator, while human-written text is not. We find that overall, smaller and partially-trained models are better universal text detectors: they can more precisely detect text generated from both small and larger models. Interestingly, we find that whether the detector and generator were trained on the same data is not critically important to the detection success. For instance the OPT-125M model has an AUC of 0.81 in detecting ChatGPT generations, whereas a larger model from the GPT family, GPTJ-6B, has AUC of 0.45.

연구 동기 및 목표

• 다른 아키텍처와 훈련 데이터를 가진 언어 모델이 생성한 텍스트를 한 언어 모델이 탐지할 수 있는지 여부를 조사하는 것.
• 기계로 생성된 텍스트에 대한 보편적인 탐지기로 가장 효과적인 언어 모델을 특정하는 것.
• 모델 크기, 훈련 단계, 사전 훈련 데이터가 탐지 성능에 미치는 영향을 평가하는 것.
• 탐지기 성능이 생성기 모델과 아키텍처나 데이터 분포에서 유사성이 있는지 여부에 따라 달라지는지 탐색하는 것.

제안 방법

• 연구는 탐지기 모델 하에서 목표 시퀀스의 밀도와 그 주변 변형의 밀도를 비교하여 局소 최적성을 측정하는 곡률 기반 탐지 방법을 사용한다.
• 다양한 모델과 시퀀스 길이에 걸쳐 50% 인간이 작성한 텍스트와 50% 기계로 생성된 텍스트로 구성된 타겟 풀을 구축한다.
• 탐지기 모델이 생성기의 가능도 함수에 접근하지 못하더라도, 곡률 지표를 사용하여 인간이 작성한 텍스트와 기계로 생성된 텍스트를 구분하는 능력을 평가한다.
• 모델 크기(125M에서 6.7B 파라미터), 아키텍처(GPT, OPT, Pythia), 사전 훈련 데이터(WebText, The Pile) 및 부분 훈련 단계를 포함한 다양한 조건에서 실험을 수행한다.
• 인간이 작성한 텍스트와 기계로 생성된 텍스트 시퀀스 간의 구분 능력을 평가하기 위해 ROC 곡선 기반 AUC 점수를 사용하여 탐지 성능을 측정한다.
• 생성기가 알려지지 않거나 접근 불가능하더라도, 가능도 함수에 접근 가능한 대체 탐지기 모델을 사용함으로써 블랙박스 탐지가 가능해진다.

Figure 1: We want to study how models can cross-detect , i.e. distinguish between human-written text and machine-generated text generated by another model. To this end, we create a target pool consisting of both human-written and machine-generated text. We then generate perturbations of each target

실험 결과

연구 질문

• RQ1 더 작은 언어 모델이 다른 아키텍처를 가진 더 큰 모델이 생성한 기계로 생성된 텍스트를 효과적으로 탐지할 수 있는가?
• RQ2 탐지기 모델의 성능이 생성기와 동일한 데이터로 훈련되었거나 유사한 파라미터 수를 가졌는지 여부에 따라 달라지는가?
• RQ3 왜 더 작은 모델과 부분 훈련된 모델이 교차 탐지에서 더 큰 완전 훈련된 모델보다 뛰어나게 성능을 내는가?
• RQ4 아키텍처나 사전 훈련 데이터에 관계없이 다양한 생성기 모델에 대해 잘 작동하는 보편적인 탐지기가 존재하는가?

주요 결과

• OPT-125M와 같은 더 작은 언어 모델은 더 큰 모델보다 훨씬 뛰어난 탐지 성능을 보이며, ChatGPT 출력물 탐지에서 AUC 0.81을 기록했다.
• GPTJ-6B와 같은 더 큰 모델은 이와 같은 작업에서 AUC 0.45에 불과하여 탐지 성능이 떨어졌다.
• 부분 훈련된 모델이 완전 훈련된 모델보다 뛰어나며, 특히 더 큰 아키텍처에서는 과도한 훈련이 탐지 능력을 떨어뜨린다는 점을 시사한다.
• 더 작은 모델은 유사하거나 더 큰 크기의 모델이 생성한 결과물에 더 높은 곡률을 부여함으로써 기계로 생성된 패턴에 더 민감하게 반응한다.
• 생성기 모델과 탐지기 모델 간의 아키텍처 유사성이나 공통된 사전 훈련 데이터 유무에 따라 탐지기 성능이 결정되지는 않는다.
• OPT-125M 모델은 평균적으로 자기 자신에 대한 탐지 성능과 0.07 AUC 이내로 수렴하며, 강력한 보편 탐지 능력을 보여준다.

Figure 2: AUC heatmap for cross-detection, where the rows are generator models and columns are the surrogate detector models, both sorted by model size. We can see that smaller models are better detectors and larger models are the worst models in terms of detection power.