[논문 리뷰] MAGE: Machine-generated Text Detection in the Wild

Yafu Li, Qintong Li외 7명|arXiv (Cornell University)|2023. 05. 22.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 다양한 도메인과 LLM 전반에서 기계 작성 텍스트 탐지를 위한 야생 테스트베드를 구축하고, 여러 탐지기를 벤치마크하며, 감독된 PLM 기반 방법이 가장 강력하고, 작은 도메인 샘플을 사용한 경계 재설정으로 분포 외 탐지가 개선됨을 보여준다.

ABSTRACT

Large language models (LLMs) have achieved human-level text generation, emphasizing the need for effective AI-generated text detection to mitigate risks like the spread of fake news and plagiarism. Existing research has been constrained by evaluating detection methods on specific domains or particular language models. In practical scenarios, however, the detector faces texts from various domains or LLMs without knowing their sources. To this end, we build a comprehensive testbed by gathering texts from diverse human writings and texts generated by different LLMs. Empirical results show challenges in distinguishing machine-generated texts from human-authored ones across various scenarios, especially out-of-distribution. These challenges are due to the decreasing linguistic distinctions between the two sources. Despite challenges, the top-performing detector can identify 86.54% out-of-domain texts generated by a new LLM, indicating the feasibility for application scenarios. We release our resources at https://github.com/yafuly/MAGE.

연구 동기 및 목표

• 모든 도메인과 모델에서 현실적이고 출처를 알 수 없는 설정에서 견고한 딥페이크 텍스트 탐지를 위한 동기를 부여한다.
• 여러 LLM으로부터의 인간 작성 텍스트와 기계 생성 텍스트를 대규모로 다양하게 매칭하는 야생의 광범위한 테스트베드를 만든다.
• 도메인 내(out-of-domain 포함) 및 도메인 간 조건에서 일반화 격차를 이해하기 위해 일반적인 탐지 방법을 평가한다.
• 탐지기의 경계와 성능에 영향을 주는 언어학적 편향 및 perplexity 관련 편향을 조사한다.
• 실제 현실 세계의 탐지기 배치 및 평가를 개선하기 위한 실용적 지침을 제공한다.

제안 방법

• 세 가지 프롬프트 유형(계속하기, 주제별, 명시된)을 사용하여 27개의 LLM으로부터 기계 생성 텍스트를 포함한 10개의 인간 작성 데이터셋으로 대규모 야생 테스트베드를 구성한다.
• 탐지 태스크를 위한 분류 헤드를 가진 Longformer 기반 PLM 분류기를 미세조정한다.
• 특징 기반 탐지기(FastText, GLTR)와 제로샷 탐지기(DetectGPT)와의 비교를 수행한다.
• 도메인 내 테스트베드 여섯 가지(야생성 증가) 및 두 가지 분포 외 시나리오(보이지 않는 도메인/모델)에서 탐지기를 평가한다.
• 주요 지표로 AvgRec(평균 재현율)를 사용하고 AUROC를 보조 지표로 활용한다.

실험 결과

연구 질문

• RQ1 주제와 도메인에 상관없이 인간 작성 텍스트와 기계 생성 텍스트 사이에 고유한 차이가 존재하는가, 내용과 무관하게?
• RQ2 출처 LLM에 접근하지 않고도 야생 환경에서 기계 생성 텍스트를 식별할 수 있는 일반 탐지 방법이 있는가?
• RQ3 탐지기가 보이지 않는 도메인이나 보이지 않는 모델 계열에 얼마나 잘 일반화하는가?
• RQ4 경계 조정과 같은 실용적 조정이 분포 외 탐지를 개선하는가?

주요 결과

• PLM 기반 탐지기가 도메인 내 설정에서 일관되게 타 탐지기보다 우수하며 높은 AvgRec와 AUROC를 달성한다.
• 도메인 간 또는 모델 간 데이터에 직면하면 탐지기 성능이 저하되며, 분포 외 조건에서 AvgRec와 AUROC의 상당한 하락이 나타난다.
• DetectGPT와 GLTR은 점수화 모델이 가짜 텍스트 출처와 일치할 때 강한 성능을 보이지만, 보이지 않는 모델이나 도메인에서는 성능이 붕괴된다.
• Longformer는 교차 도메인/교차 모델 설정에서 전반적으로 가장 강한 성능을 유지하며, 많은 경우 AvgRec가 약 90%에 도달하고 일부 도메인 내 설정에서 AUROC가 0.99에 근접한다.
• PLM 기반 탐지기에 perplexity 편향이 존재하여 낮은 perplexity 텍스트가 기계 생성으로 오분류될 가능성이 높고, 높은 perplexity 텍스트가 인간 작성으로 오인될 수 있어 결정 경계에 영향을 준다.
• 도메인 내에서 0.1%의 도메인 내 데이터로 결정 경계를 tiny하게 재선정하면 분포 외 AvgRec가 크게 향상되어 최대 +13.38%까지 상승한다.
• 더 긴 텍스트가 탐지 정확도를 향상시키며, 더 많은 콘텐츠가 탐지기에 더 많은 신호를 제공한다는 직관을 뒷받침한다.