[논문 리뷰] Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense

Kalpesh Krishna, Yixiao Song외 3명|arXiv (Cornell University)|2023. 03. 23.

Topic Modeling인용 수 89

한 줄 요약

본 논문은 담론 인지적 패러프레이저(dipper)가 AI 생성 텍스트 탐지기를 우회할 수 있는 반면, 의미적으로 일치하는 이전 생성물을 이용한 검색 기반 방어가 패러프레이즈된 출력을 효과적으로 탐지할 수 있음을 보여준다.

ABSTRACT

The rise in malicious usage of large language models, such as fake content creation and academic plagiarism, has motivated the development of approaches that identify AI-generated text, including those based on watermarking or outlier detection. However, the robustness of these detection algorithms to paraphrases of AI-generated text remains unclear. To stress test these detectors, we build a 11B parameter paraphrase generation model (DIPPER) that can paraphrase paragraphs, condition on surrounding context, and control lexical diversity and content reordering. Using DIPPER to paraphrase text generated by three large language models (including GPT3.5-davinci-003) successfully evades several detectors, including watermarking, GPTZero, DetectGPT, and OpenAI's text classifier. For example, DIPPER drops detection accuracy of DetectGPT from 70.3% to 4.6% (at a constant false positive rate of 1%), without appreciably modifying the input semantics. To increase the robustness of AI-generated text detection to paraphrase attacks, we introduce a simple defense that relies on retrieving semantically-similar generations and must be maintained by a language model API provider. Given a candidate text, our algorithm searches a database of sequences previously generated by the API, looking for sequences that match the candidate text within a certain threshold. We empirically verify our defense using a database of 15M generations from a fine-tuned T5-XXL model and find that it can detect 80% to 97% of paraphrased generations across different settings while only classifying 1% of human-written sequences as AI-generated. We open-source our models, code and data.

연구 동기 및 목표

• 패러프레이즈 공격에 대한 AI 생성 텍스트 탐지기의 강건성 평가.
• 컨트롤 가능한 다변성으로 장문 텍스트 패러프레이징이 가능한 담론 수준의 패러프레이저 개발.
• 패러프레이즈 공격하에 여러 LM과 작업에서 탐지기를 평가.
• 이전 생성물 데이터베이스에 대한 의미적 매치를 통해 AI 생성 텍스트를 탐지하는 검색 기반 방어를 제안하고 평가.

제안 방법

• 맥락과 콘텐츠 재배치를 제어하여 단락 길이 텍스트를 패러프레이즈하는 11B 매개변수 패러프레이저 모델(dipper)을 학습한다.
• 맥락 및 다양성 제어(어휘 다양성 L, 콘텐츠 순서 O)를 포함한 단락 수준 패러프레이즈 데이터에서 dipper를 미세 조정한다.
• 패러프레이즈 출력에 대해 GPT2-XL, OPT-13B, GPT-3.5-davinci-003에서 탐지기(워터마킹, DetectGPT, GPTZero, OpenAI의 분류기, RankGen)를 평가한다.
• 인간 패러프레이즈와의 의미 유사도(P-SP)로 의미 보존 정도를 측정한다.
• 모든 API 출력을 저장하고 후보 텍스트를 데이터베이스와 매칭하여 BM25 또는 P-SP 표현으로 패러프레이즈를 탐지하는 검색 기반 방어를 시연한다.
• 검색을 대규모 코퍼스(최대 1500만 생성)로 확장하고 패러프레이즈 공격 하에서 탐지 성능을 분석한다.

실험 결과

연구 질문

• RQ1 대형 패러프레이즈 모델에 의해 생성된 패러프레이즈 공격에 대해 기존 AI 생성 텍스트 탐지기는 얼마나 강건한가?
• RQ2 담론 인지적 패러프레이즈 모델이 의미를 보존하면서 탐지기들을 효과적으로 회피할 수 있는가?
• RQ3 이전에 생성된 시퀀스의 대규모 코퍼런스에 대한 검색이 패러프레이즈 공격에 대한 강력한 방어인가, 그리고 확장은 어떻게 되는가?
• RQ4 AI 생성 텍스트 탐지를 위한 검색 기반 탐지의 실용적 한계와 확장성 고려사항은 무엇인가?
• RQ5 여러 LM과 작업에서 패러프레이즈 공격에 대해 다양한 탐지기가 검색 기반 방법과 비교했을 때 어떤 차이가 있는가?

주요 결과

• dipper를 사용한 패러프레이징은 탐지기와 모델 전반에서 탐지 정확도를 크게 낮춘다(예: GPT2-XL에서 1% FPR 시 DetectGPT가 70.3%에서 4.6%로 하향).
• Dipper는 높은 의미 보존을 달성하여 패러프레이즈의 88%-99%가 인간 패러프레이즈의 의미 유사도(P-SP)의 중앙값을 넘어간다.
• 검색 기반 탐지는 패러프레이즈 텍스트에서 높은 탐지율을 달성하고 기준선을 능가한다(예: BM25로 9K 또는 43K+ 코퍼스에서 다양한 모델에 대해 97.3%-97.8%).
• BM25 기반 검색은 코퍼스 규모가 커져도 효과적이며 정확도는 다소 하락에 그친다(예: PG19에서 1500만으로 확장 시 98.3%에서 97.3%로 하락).
• 검색 기반 탐지는 질의 길이에 대해 여전히 강건하며 질의가 50자 이상일 때 가장 우수하다.