[논문 리뷰] SeqXGPT: Sentence-Level AI-Generated Text Detection

Pengyu Wang, Linyang Li외 4명|arXiv (Cornell University)|2023. 10. 13.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 백박스 LLM에서 추출한 단어별 로그 확률 리스트를 파형 유사 특징으로 활용하고, CNN-Transformer 아키텍처를 통해 처리하는 문장 수준의 AI 생성 텍스트 탐지 방법인 SeqXGPT를 소개한다. 이는 문장 수준 및 문서 수준 탐지에서 기존 방법들을 뛰어넘는 성능을 보이며, 분포 외 데이터에 대해서도 강력한 일반화 능력을 입증한다.

ABSTRACT

Widely applied large language models (LLMs) can generate human-like content, raising concerns about the abuse of LLMs. Therefore, it is important to build strong AI-generated text (AIGT) detectors. Current works only consider document-level AIGT detection, therefore, in this paper, we first introduce a sentence-level detection challenge by synthesizing a dataset that contains documents that are polished with LLMs, that is, the documents contain sentences written by humans and sentences modified by LLMs. Then we propose extbf{Seq}uence extbf{X} (Check) extbf{GPT}, a novel method that utilizes log probability lists from white-box LLMs as features for sentence-level AIGT detection. These features are composed like extit{waves} in speech processing and cannot be studied by LLMs. Therefore, we build SeqXGPT based on convolution and self-attention networks. We test it in both sentence and document-level detection challenges. Experimental results show that previous methods struggle in solving sentence-level AIGT detection, while our method not only significantly surpasses baseline methods in both sentence and document-level detection challenges but also exhibits strong generalization capabilities.

연구 동기 및 목표

• 현재 방법들이 문서 수준 탐지만을 다루고 있음에도 불구하고, 세밀한 문장 수준의 AI 생성 텍스트(AIGT) 탐지에 대한 격차를 메우기 위해.
• 혼합된 인간 작성 문장과 LLM 수정 문장을 포함한 새로운 벤치마크 데이터셋을 제안하여 실제 AI 보조 글쓰기 상황을 시뮬레이션하기 위해.
• 짧은 입력 길이에도 불구하고 문장 수준에서 AI 생성 콘텐츠를 식별할 수 있는 강력하고 일반화 가능한 탐지 모델을 개발하기 위해.
• 기존 방법의 한계, 예를 들어 지도 학습 모델의 과적합 및 짧은 텍스트에서의 낮은 성능을 극복하기 위해.

제안 방법

• 백박스 LLM에서 단어별 로그 확률를 추출하여 기본 특징으로 삼고, 이를 시간적 파형 유사 신호로 간주한다.
• 지역적이고 집중된 특징을 파형 유사 로그 확률 시퀀스에서 추출하기 위해 복소 신경망(CNN)을 활용한다.
• CNN 이후 자기주의(Transformer) 모듈을 적용하여 특징 표현 내 장거리 의존성과 맥락적 관계를 모델링한다.
• 각 단어의 기원(인간 또는 AI)을 예측하기 위해 시퀀스 레이블링을 사용하며, 가장 빈도가 높은 레이블이 문장 수준의 카테고리로 결정된다.
• 혼합된 인간-AI 문서의 합성 데이터셋을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련시킨다.
• 모델은 문장 수준 및 문서 수준 탐지 작업, 특히 분포 외 일반화 성능을 평가한다.

실험 결과

연구 질문

• RQ1 짧은 입력 시퀀스와 제한된 맥락으로 인해 문장 수준에서 AI 생성 콘텐츠를 효과적으로 탐지할 수 있는가?
• RQ2 기존 AIGT 탐지 방법의 성능은 문서 수준 탐지 대비 문장 수준 탐지에 적용했을 때 어떻게 저하되는가?
• RQ3 GPT-3.5-turbo와 같은 특정 LLM에서 학습한 모델이 다른 LLM에서 생성된 문장이나 알려지지 않은 도메인의 문장을 탐지하는 데 얼마나 일반화되는가?
• RQ4 로그 확률 특징은 문장 수준에서 AI 생성 텍스트와 인간 작성 텍스트를 구분하는 데 어떤 역할을 하는가?
• RQ5 CNN 및 Transformer 레이어와 같은 아키텍처 구성 요소가 생성 텍스트의 미세한 통계적 차이를 탐지하는 데 모델의 능력에 어떻게 기여하는가?

주요 결과

• SeqXGPT는 입력 길이가 짧고 세밀한 모델링이 부족한 탓에 어려움을 겪는 DetectGPT 및 Sniffer와 같은 베이스라인 방법들보다 문장 수준 AIGT 탐지에서 뚜렷한 성능 향상을 보였다.
• 문서 수준 탐지에서도 뛰어난 성능을 기록하여 다양한 입력 스케일에서의 강건성을 입증했다.
• 분포 외 데이터셋에서 뛰어난 일반화 능력을 보이며, 알려지지 않은 LLM이나 도메인에서 생성된 문장을 탐지할 때도 높은 정확도를 유지했다.
• 제거 실험 결과, CNN는 상호 상관이 높고 저차원의 로그 확률 파형에서 의미 있는 특징을 추출하는 데 필수적이며, Transformer만으로는 이러한 희소한 특징에서 효과적으로 학습하지 못한다는 것이 확인되었다.
• CNN와 Transformer 구성 요소를 조합하면 최고의 성능을 낼 수 있었으며, CNN은 局부 패턴을 추출하고 Transformer는 맥락적 의존성을 모델링하기 때문이다.
• 백박스 로그 확률에 의존함으로써 높은 해석 가능성과 의미적 패턴에 대한 과적합을 피할 수 있었으며, RoBERTa 미세조정과 같은 순수 의미 기반 모델과는 달리 이점이 있었다.