[논문 리뷰] Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts

Eduard Tulchinskii, Kristian Kuznetsov외 6명|arXiv (Cornell University)|2023. 06. 07.

Natural Language Processing Techniques참고 문헌 54인용 수 31

한 줄 요약

이 논문은 텍스트 샘플의 지속적 동형성 기반 고유 차원(PHD) 추정기를 제시하고 인간 텍스트가 AI 생성 텍스트보다 더 높은 고유 차원을 가지며, 이를 통해 견고하고 모델- 및 도메인에 구애되지 않는 탐지기를 가능하게 한다.

ABSTRACT

Rapidly increasing quality of AI-generated content makes it difficult to distinguish between human and AI-generated texts, which may lead to undesirable consequences for society. Therefore, it becomes increasingly important to study the properties of human texts that are invariant over different text domains and varying proficiency of human writers, can be easily calculated for any language, and can robustly separate natural and AI-generated texts regardless of the generation model and sampling method. In this work, we propose such an invariant for human-written texts, namely the intrinsic dimensionality of the manifold underlying the set of embeddings for a given text sample. We show that the average intrinsic dimensionality of fluent texts in a natural language is hovering around the value $9$ for several alphabet-based languages and around $7$ for Chinese, while the average intrinsic dimensionality of AI-generated texts for each language is $\approx 1.5$ lower, with a clear statistical separation between human-generated and AI-generated distributions. This property allows us to build a score-based artificial text detector. The proposed detector's accuracy is stable over text domains, generator models, and human writer proficiency levels, outperforming SOTA detectors in model-agnostic and cross-domain scenarios by a significant margin.

연구 동기 및 목표

• 도메인과 언어에 걸쳐 인간이 작성한 텍스트와 AI가 생성한 텍스트를 구분하는 불변의 텍스트 특성을 식별한다.
• 보지 못한 생성 모델과 샘플링 방법에도 일반화되는 저차원, 계산 친화적인 탐지기를 개발한다.
• 도메인 이동, 모델 이동, 그리고 적대적 변형에 대한 강건성을 증명한다.
• 재현과 추가 ATD 연구를 가능하게 하는 다국어 데이터와 코드를 제공한다.

제안 방법

• 고정 차원 공간에서 토큰 임베딩을 점 구름으로 표현하여 텍스트 샘플의 고유 차원을 추정한다.
• 사전 학습된 RoBERTa-base(영어) 또는 XLM-R(다국어)을 사용하여 컨텍스추얼라이즈드 토큰 임베딩을 계산한다.
• MST 기반 생애주기의 성장률 분석을 통해 PHD 추정기를 적용하여 로그-로그 회귀에서 차원 d를 얻는다.
• 토큰 임베딩의 다중 부분집합을 표본화하고 각 부분집합에 대해 E0^1(Si)을 계산한 후 로그-로그 쌍에 대한 선형 회귀를 이용해 기울기와 차원 d를 추정한다.
• PHD를 특징으로 사용하는 단일 특성 로지스틱 회귀 분류기를 학습시켜 진짜 텍스트와 AI 생성 텍스트를 구분한다.
• 교차 도메인 및 교차 모델 설정에서 PHD를 기준선(MLE, DetectGPT, GPTZero, OpenAI detector, RankGen)과 비교한다.

(a) AI generated

실험 결과

연구 질문

• RQ1 텍스트 임베딩의 고유 차원이 AI 생성 텍스트를 탐지하는 도메인- 및 모델-에 구애받지 않는 신호가 될 수 있는가?
• RQ2 인간 텍스트와 AI 텍스트 간의 PHD 구분이 언어, 장르, 생성 모델 전반에 지속되는가?
• RQ3 교차 도메인 및 적대적 조건에서 PHD가 기존 탐지기와 어떻게 비교되는가?
• RQ4 도메인 이동에 강건하고 베이스라인에 비해 비모국어 화자에 대한 편향이 적은가?
• RQ5 텍스트 데이터에 PHD를 적용하기 위한 실용적 고려사항(샘플링 안정성, 계산 등)은 무엇인가?

주요 결과

• 인간이 작성한 텍스트는 고유 차원 값이 대략 9–10(유럽 계열 언어) 근처에 모이고, 중국어/일본어의 경우 대략 7에 모이며, 반면 AI 생성 텍스트는 평균적으로 약 1.5 낮다.
• PHD 기반 탐지기가 모델-에 구애받지 않고 교차 도메인 상황에서 보편 탐지기보다 큰 차이로 성능을 능가한다.
• PHD는 도메인 전이 및 교차 모델 전이에 대해 강건함을 보이며 교차 도메인 실험에서 종종 RoBERTa 기반의 지도 학습 분류기보다 우수하다.
• PHD는 생성 모델과 샘플링 방법에 불변하며 DIPPER 의역 공격에서도 여전히 효과적이고, 여러 베이스라인과 달리.
• 10개 언어에 걸쳐 PHD는 언어별 성능 차이가 있지만 대략 0.71–0.83의 ROC-AUC 값을 달성한다(중국어에서 스페인어 범위).
• 이 방법은 OpenAI 및 GPTZero 베이스라인에 비해 비원어민 화자에 대한 편향을 줄이고, 적대적 프롬프트 변화에서도 높은 탐지율을 유지한다.

(b) human written