[논문 리뷰] Stylometric Detection of AI-Generated Text in Twitter Timelines

Tharindu Kumarage, Joshua Garland외 4명|arXiv (Cornell University)|2023. 03. 07.

Authorship Attribution and Profiling인용 수 23

한 줄 요약

이 논문은 stylometric features를 보조 신호로 사용하여 AI 생성 트윗 탐지기를 보강하고, Twitter 타임라인에서 AI가 트윗 생성을 시작하는 시점을 탐지하는 방법을 제시하며, 특히 짧은 타임라인과 제한된 데이터에서 성능이 향상됨을 보여준다.

ABSTRACT

Recent advancements in pre-trained language models have enabled convenient methods for generating human-like text at a large scale. Though these generation capabilities hold great potential for breakthrough applications, it can also be a tool for an adversary to generate misinformation. In particular, social media platforms like Twitter are highly susceptible to AI-generated misinformation. A potential threat scenario is when an adversary hijacks a credible user account and incorporates a natural language generator to generate misinformation. Such threats necessitate automated detectors for AI-generated tweets in a given user's Twitter timeline. However, tweets are inherently short, thus making it difficult for current state-of-the-art pre-trained language model-based detectors to accurately detect at what point the AI starts to generate tweets in a given Twitter timeline. In this paper, we present a novel algorithm using stylometric signals to aid detecting AI-generated tweets. We propose models corresponding to quantifying stylistic changes in human and AI tweets in two related tasks: Task 1 - discriminate between human and AI-generated tweets, and Task 2 - detect if and when an AI starts to generate tweets in a given Twitter timeline. Our extensive experiments demonstrate that the stylometric features are effective in augmenting the state-of-the-art AI-generated text detectors.

연구 동기 및 목표

• 하나의 사용자의 Twitter 타임라인에서 AI 생성 트윗의 자동 탐지를 촉진한다.
• stylometric features가 짧은 텍스트의 최첨단 탐지기들을 보강할 수 있는지 조사한다.
• 타임라인 내에서 사람이 만든 작가가 AI로 전환되는 시점과 위치를 탐지하는 방법을 개발한다.

제안 방법

• 세 가지 stylometric 카테고리 정의: Phraseology, Punctuation, and Linguistic Diversity, 포함 MTTR 및 Flesch Reading Ease.
• stylometric 신호를 RoBERTa 기반 임베딩과 융합 신경망으로 결합하여 AI 생성 트윗을 탐지한다.
• change-point 탐지를 stylometric 신호에 적용하는 StyloCPA 접근법으로 인간-AI 작성자 변경을 로컬라이즈한다.
• 타임라인을 시퀀스로 표현하고 각 타임라인에 대해 stylometry 매트릭스를 계산한 다음 PELT 기반의 change-point 탐지로 위치를 식별한다.
• 탐지 작업에 대해 교차 엔트로피 손실로 엔드 투 엔드 학습하고, 로컬라이제이션을 위한 단순하고 파라미터가 적은 change-point 방법에 의존한다.

실험 결과

연구 질문

• RQ1 RQ1: stylometric features가 타임라인에서 AI 생성 트윗을 식별할 때 SOTA 탐지기의 성능을 향상시킬 수 있는가?
• RQ2 RQ2: 제한된 학습 데이터로 타임라인에서 인간-AI 작성자 전환이 언제 어디서 발생하는지 stylometric 신호가 얼마나 잘 탐지하는가?

주요 결과

• Stylometric fusion은 단순 기반 대비 AI 생성 트윗 탐지 정확도를 크게 향상시키며, 타임라인 길이가 작을 때 일부 강력한 PLM 기반 모델과 경쟁하거나 이를 능가할 수 있다.
• RoBERTaRoBERTa_FT_Stylo 및 다른 융합 변형들이 내부 데이터와 TweepFake에서 baselines를 상회하며, N=1 또는 짧은 타임라인에서 눈에 띄는 이점을 보인다.
• StyloCPA는 특히 작은 학습 데이터일 때 강력한 change-point 로컬라이제이션 성능을 달성하여, 여러 PLM 기반 탐지기와 PAN 스타일 베이스라인보다 우수하다.
• stylometric 신호에 대한 change-point 탐지는 평가 창(W=0,1,2)에서 PLM-전용 접근법보다 더 높은 위치 정확도를 보인다.
• 구두점 및 구문 특징은 T1 및 T2 작업에 대해 가장 정보력이 높은 stylometry 특징 중 하나이며; 언어학적 특징은 짧은 타임라인에서 영향력이 덜하다.