[논문 리뷰] A Survey on Detection of LLMs-Generated Content

Xianjun Yang, Liangming Pan외 5명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 7

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Model, LLM)이 생성한 콘텐츠의 검출 방법에 대한 포괄적인 분석을 제공하며, 학습 기반, 제로샷, 워터마킹 기반 접근 방식으로 기술을 분류한다. 모델의 강건성, 편향, 그리고 진화하는 LLM들 간의 일반화 문제와 같은 주요 과제를 밝히며, 실제 응용에서의 신뢰성을 확보하기 위해 다각적이고 적응형 검출 시스템의 필요성을 주장한다.

ABSTRACT

The burgeoning capabilities of advanced large language models (LLMs) such as ChatGPT have led to an increase in synthetic content generation with implications across a variety of sectors, including media, cybersecurity, public discourse, and education. As such, the ability to detect LLMs-generated content has become of paramount importance. We aim to provide a detailed overview of existing detection strategies and benchmarks, scrutinizing their differences and identifying key challenges and prospects in the field, advocating for more adaptable and robust models to enhance detection accuracy. We also posit the necessity for a multi-faceted approach to defend against various attacks to counter the rapidly advancing capabilities of LLMs. To the best of our knowledge, this work is the first comprehensive survey on the detection in the era of LLMs. We hope it will provide a broad understanding of the current landscape of LLMs-generated content detection, offering a guiding reference for researchers and practitioners striving to uphold the integrity of digital information in an era increasingly dominated by synthetic content. The relevant papers are summarized and will be consistently updated at https://github.com/Xianjun-Yang/Awesome_papers_on_LLMs_detection.git.

연구 동기 및 목표

• 다양한 응용 분야에서 LLM이 생성한 텍스트 및 코드에 대한 기존 검출 전략에 대한 체계적인 개요 제공.
• 모델의 강건성, 비-native 영어 사용자에 대한 편향, 다양한 LLM 버전 간 일반화 부족과 같은 검출 과제 식별.
• 검출 시스템에 대한 적대적 공격을 분석하고, 내구성 있고 다각적인 방어 메커니즘의 필요성을 강조.
• 표준화된 평가, 설명 가능성, 투명성의 필요성을 주장하여 공정성과 신뢰성을 확보.
• 합성 콘텐츠 시대의 디지털 정보 무결성을 유지하고자 하는 연구자 및 실무자를 위한 기초 참고 자료로 기능.

제안 방법

• 검출 기법을 작동 원리 및 범위에 따라 분류하여 학습 기반, 제로샷, 워터마킹 기반 기법을 포함.
• LLM 검출 연구에서 사용되는 벤치마크 데이터셋과 평가 지표를 검토하며 재현 가능성과 표준화의 중요성 강조.
• 통계적 서명(예: 균일 정보 밀도, Uniform Information Density, UID)을 이용해 생성된 텍스트의 특정 LLM 출처를 식별하는 모델 소싱 기법(예: GPT-who) 분석.
• 사전 검출 기법으로서의 워터마킹 접근 방식을 평가하며, 번역 및 문맥 길이 공격에 대한 내구성 검토.
• 검출기의 강건성과 신뢰성을 시험하기 위해 프롬프트 공학 및 어색한 표현 변형과 같은 적대적 공격 분석.
• 미리 보지 못한 LLM이나 데이터 소스에 대한 일반화 성능 평가하며, 제로샷 검출의 한계 강조.

Figure 1: We list the four most representative scenarios where the detection of LLMs-generated content is of paramount importance.

실험 결과

연구 질문

• RQ1 LLM 생성 콘텐츠에 대한 주요 검출 방법론은 무엇이며, 기작과 성능에서 어떻게 다릅니까?
• RQ2 현재 검출기는 비영어어, 코드 등 다양한 언어적, 스타일적, 도메인 특화 시나리오에서 어떻게 작동합니까?
• RQ3 최근 출시되거나 파인튜닝된 LLM들(예: ChatGPT의 업데이트된 버전)에 대해 검출기는 어느 정도 일반화할 수 있습니까?
• RQ4 기존 검출 시스템의 주요 취약점은 무엇이며, 어떻게 이를 완화할 수 있습니까?
• RQ5 검출 시스템을 더 공정하고 투명하며 설명 가능하게 만들면, 실제 적용 시 편향을 줄이고 신뢰를 높일 수 있습니까?

주요 결과

• 현재 검출기는 비-네이티브 영어 사용자에게 심각한 편향을 보이며, 비영어어 또는 짧은 텍스트에서 성능이 열 劣하다.
• Pu 등(2023)의 연구에 따르면 제로샷 검출기는 다양한 LLM 생성기 간에 일반화하지 못함을 보여주며, 이는 강건성 부족을 시사한다.
• Kirchenbauer 등(2023b)의 연구에 따르면 워터마킹 기법은 인간의 어색한 표현 변형 및 약 1000 토큰 수준의 문맥 길이 공격에 대해 신뢰할 수 있는 성능을 보인다.
• GPT-who와 같은 모델 소싱 기법은 UID 기반 특징을 활용해 특정 LLM과 인간 저자 식별이 가능하다.
• Tu 등(2023)의 연구에서 ChatGPT 응답을 매일 모니터링한 결과, LLM 업데이트에 따라 검출기 성능이 점차 저하되는 경향을 관찰했다.
• 기존 검출기 중 어디 하나도 보편적으로 신뢰할 수 없으며, 모든 검출기들이 진화하는 LLM 능력에 대응하는 데 어려움을 겪고 있어, 적응형이고 다각적인 검출 전략의 필요성이 대두된다.

Figure 2: Three categories of detectors and four detection scenarios: as the transparency decreases, the detection difficulty increases.