[논문 리뷰] Unsupervised and Distributional Detection of Machine-Generated Text

Matthias Gallé, Jos Rozen외 2명|arXiv (Cornell University)|2021. 11. 04.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 대규모 텍스트 컬렉션에서 과도하게 반복되는 고차원 n-그램—특히 초최대 반복문자열(supers-maximal repeats)—을 식별함으로써 비지도 학습 방식으로 기계 생성 텍스트를 탐지하는 방법을 제안한다. 이러한 반복된 구문을 약한 신호로 활용하여, 앙상블 분류기와 함께 자기학습(self-training)을 수행함으로써 의심스러운 문서를 순위 매기는 방법을 제시하며, GPT2-large 모델을 사용한 top-k 샘플링에서는 5,000개 이내에서 90% 이상의 정밀도를 달성하고, nucleus 샘플링에서는 80% 이상의 정밀도를 확보한다.

ABSTRACT

The power of natural language generation models has provoked a flurry of interest in automatic methods to detect if a piece of text is human or machine-authored. The problem so far has been framed in a standard supervised way and consists in training a classifier on annotated data to predict the origin of one given new document. In this paper, we frame the problem in an unsupervised and distributional way: we assume that we have access to a large collection of unannotated documents, a big fraction of which is machine-generated. We propose a method to detect those machine-generated documents leveraging repeated higher-order n-grams, which we show over-appear in machine-generated text as compared to human ones. That weak signal is the starting point of a self-training setting where pseudo-labelled documents are used to train an ensemble of classifiers. Our experiments show that leveraging that signal allows us to rank suspicious documents accurately. Precision at 5000 is over 90% for top-k sampling strategies, and over 80% for nucleus sampling for the largest model we used (GPT2-large). The drop with increased size of model is small, which could indicate that the results hold for other current and future large language models.

연구 동기 및 목표

• 라벨이 부여된 데이터에 의존하고 분포 변화에 민감한 지도 학습 탐지 방법의 한계를 해결하기 위해.
• 사전 애너테이션 없이도, 대규모 비율의 텍스트가 합성된 것으로 의심되는 코퍼스에서 기계 생성 텍스트를 탐지하기 위해.
• 기계 생성 텍스트와 인간이 작성한 텍스트를 구분하는 데 사용할 수 있는 분포 패턴—특히 반복되는 고차원 n-그램—을 식별하기 위해.
• 인간이 작성한 텍스트 학습 세트가 필요 없이, 가짜 레이블이 부여된 데이터를 활용해 성능을 향상시키는 확장 가능한 자기학습 프레임워크를 개발하기 위해.
• 다양한 디코딩 전략(top-k 및 nucleus)과 모델 크기에서의 성능을 평가하여 탐지 방법의 강건성과 일반화 능력을 점검하기 위해.

제안 방법

• 대규모 비애너테이션 텍스트 코퍼스 전반에 걸쳐 초최대 반복문자열—더 긴 반복문자열에 포함되지 않는 가장 긴 반복 부분문자열—을 탐지한다.
• 이러한 반복문자열의 존재를 기반으로 기계 생성 텍스트일 가능성이 높은 문서를 식별하는 약한 신호로 활용하며, 모델 생성 텍스트에서 더 자주 나타나리라 가정한다.
• 자기학습 파이프라인을 적용: 반복 빈도가 높은 문서를 기계 생성 텍스트로 간주하고 가짜 레이블을 부여한 후, 이 가짜 레이블 데이터를 기반으로 앙상블 분류기를 훈련시킨다.
• 가짜 레이블 데이터를 기반으로 이진 분류기(미세조정된 희석된 BERT)를 훈련시키며, 금본 인간 생성 텍스트를 긍정 예시로, 반복이 많은 문서를 부정 예시로 사용한다.
• 여러 분류기의 다수결 투표를 통해 강건성과 순위 매기기 성능을 향상시킨다.
• 정밀도@m(prec@m)을 사용해 성능을 평가하며, 상위-m개의 순위가 실제로 기계 생성 텍스트인지 확인한다.

실험 결과

연구 질문

• RQ1 과도하게 반복되는 고차원 n-그램이 대규모 비애너테이션 코퍼스에서 기계 생성 텍스트를 탐지하는 신뢰할 수 있는 비지도 신호로 기능할 수 있는가?
• RQ2 반복 빈도 기반 가짜 레이블 문서를 활용한 자기학습 접근법이 탐지 성능 향상에 얼마나 효과적인가?
• RQ3 top-k와 nucleus 디코딩 전략, 그리고 GPT2의 소형, 중형, 대형 모델 크기 간에 이 방법이 일반화되는가?
• RQ4 기존의 지도 학습 기반 방법 대비, 생성 모델이나 디코딩 전략이 변경되었을 때 성능 저하 정도는 어느 정도인가?
• RQ5 일반 단어 통계(unigram-level statistics)가 인간 텍스트와 구분되지 않을 경우에도 이 방법이 기계 생성 콘텐츠를 탐지할 수 있는가?

주요 결과

• 초최대 반복문자열은 인간이 작성한 텍스트보다 기계 생성 텍스트에서 훨씬 더 빈번하게 나타나며, 이는 탐지에 대해 신뢰할 수 있는 약한 신호로 기능한다.
• 이 신호를 가짜 레이블로 활용한 자기학습 파이프라인은 GPT2-large 모델의 top-k 샘플링에서 5,000 이내로 90% 이상의 정밀도를 달성한다.
• nucleus 샘플링의 경우 동일한 모델로 5,000 이내에서 80% 이상의 정밀도를 확보하여, 다양한 디코딩 전략에 대해 강건함을 입증한다.
• 지도 학습과 준지도 학습 간의 성능 격차는 뚜렷하며, 이는 약한 신호를 효과적으로 활용해 지도 학습 성능에 근접한 결과를 도출할 수 있음을 보여준다.
• 생성 모델이나 디코딩 전략이 변경되어도 이 방법은 여전히 효과적이며, 현재 및 향후의 대규모 언어 모델에 대한 일반화 능력을 보여준다.
• 생성 텍스트의 다양성과 탐지 정확도 간의 상관관계가 존재한다: 더 다양한 출력을 생성하는 top-k 샘플링은 nucleus 샘플링보다 높은 탐지 성능을 보인다.