[논문 리뷰] CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning

Xiaoming Liu, Zhaohan Zhang외 4명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 저자원 조건에서 기계 생성 텍스트 탐지 성능을 햖थ기 위해 엔티티 기반 그래프 표현을 통해 텍스트의 통일성을 모델링하는 대trastive 학습 프레임워크 CoCo를 제안한다. 그래프 구조적 언어적 특징과 난이도 인식 대비 손실 함수를 통합함으로써 CoCo는 여러 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 놀랍게도 GPT-3.5가 생성한 텍스트는 이전 모델보다 더 쉽게 탐지된다는 놀라운 발견을 하였다.

ABSTRACT

Machine-Generated Text (MGT) detection, a task that discriminates MGT from Human-Written Text (HWT), plays a crucial role in preventing misuse of text generative models, which excel in mimicking human writing style recently. Latest proposed detectors usually take coarse text sequences as input and fine-tune pretrained models with standard cross-entropy loss. However, these methods fail to consider the linguistic structure of texts. Moreover, they lack the ability to handle the low-resource problem which could often happen in practice considering the enormous amount of textual data online. In this paper, we present a coherence-based contrastive learning model named CoCo to detect the possible MGT under low-resource scenario. To exploit the linguistic feature, we encode coherence information in form of graph into text representation. To tackle the challenges of low data resource, we employ a contrastive learning framework and propose an improved contrastive loss for preventing performance degradation brought by simple samples. The experiment results on two public datasets and two self-constructed datasets prove our approach outperforms the state-of-art methods significantly. Also, we surprisingly find that MGTs originated from up-to-date language models could be easier to detect than these from previous models, in our experiments. And we propose some preliminary explanations for this counter-intuitive phenomena. All the codes and datasets are open-sourced.

연구 동기 및 목표

• 기존 MGT 탐지기들이 고수준 언어적 구조를 忽略하고 저자원 조건에서 어려움을 겪는 점을 해결하기 위해.
• 센터링 이론에 기반한 엔티티 통일성 그래프를 통해 문장 수준 및 문장 간 엔티티 일관성을 모델링하여 텍스트 통일성을 분석하기 위해.
• 난이도 재가중 손실 함수를 사용한 대비 학습 프레임워크를 통해 저자원 설정에서 모델 일반화 능력을 향상시키기 위해.
• 최신 고성능 언어 모델인 GPT-3.5가 생성한 텍스트가 이전 모델보다 더 쉽게 탐지되는 이유를 탐구하기 위해.
• 그래프 기반 특징을 활용하여 설명 가능하고 구조 인식 탐지 방법을 제공함으로써 인간과 기계가 작성한 텍스트 간의 구분 능력을 향상시키기 위해.

제안 방법

• 노드가 명시적 엔티티이고, 문장 내 및 문장 간 공존 관계를 나타내는 간선이 있는 엔티티 통일성 그래프를 구축하여 텍스트 구조를 모델링하기 위해.
• 사전 학습된 언어 모델을 사용해 텍스트를 인코딩하고, 엔티티 표현을 그래프 구조로 투영하여 의미적 통일성을 포착하기 위해.
• 동일 텍스트의 변형(증강)을 양성 샘플로, 다른 텍스트를 음성 샘플로 사용하는 대비 학습 프레임워크를 설계하여 구분 가능한 표현을 학습하기 위해.
• 난이도 기반 대비 손실 함수를 제안하여 음성 샘플의 난이도 점수에 따라 재가중함으로써 쉬운 음성 샘플의 간섭을 줄이고 어려운 샘플에 더 집중하도록 유도하기 위해.
• 그래프 컬러레이션 네트워크(GCN)를 통해 그래프 표현을 시퀀스 수준의 인코딩과 통합하여 맥락 표현을 정교화하기 위해.
• 종합적인 대비 손실과 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련함으로써 데이터 부족 조건에서도 강건한 탐지 성능을 달성하기 위해.

실험 결과

연구 질문

• RQ1 엔티티 기반 그래프를 통한 텍스트 통일성 모델링이 평탄한 시퀀스 모델링 대비 기계 생성 텍스트 탐지 성능 향상에 기여하는가?
• RQ2 난이도 인식 손실 설계를 통한 대비 학습이 저자원 조건에서 탐지 성능 향상에 기여하는가?
• RQ3 왜 GPT-3.5가 생성한 텍스트는 GPT-2 및 GROVER와 같은 이전 모델보다 더 쉽게 탐지되는가?
• RQ4 클러스터링 계수, 코어 수, 구조 엔트로피와 같은 그래프 기반 구조적 특징이 인간이 작성한 텍스트와 기계가 작성한 텍스트를 얼마나 잘 구분하는가?
• RQ5 특히 인간이 작성한 텍스트가 부족할 경우 데이터 불균형이 탐지기 성능에 미치는 영향은 무엇이며, CoCo는 이를 완화할 수 있는가?

주요 결과

• CoCo는 공개된 두 개의 데이터셋(GROVER, GPT-2)과 두 개의 자가 구축한 데이터셋에서 최신 기술 수준의 방법들을 능가하며, 저자원 설정에서 탐지 정확도 향상이 뚜렷하게 나타났다.
• HWT의 평균 클러스터링 계수(0.2213)는 MGT의 평균(0.1983)보다 11.6% 높아, 인간이 작성한 텍스트에서 더 강한 국소적 의미 통일성이 있음을 시사한다.
• HWT의 평균 코어 수(5.772)는 MGT의 평균(4.458)보다 높아, 인간이 작성한 텍스트에서 더 복잡한 계층적 구조가 있음을 반영하며, 이는 29.5%의 차이를 보인다.
• HWT의 구조 엔트로피(2.263)는 MGT의 평균(2.119)보다 6.80% 높아, 인간이 작성한 텍스트에서 더 조직적이고 정보량이 많은 전반적 의미 구조가 있음을 나타낸다.
• 놀랍게도, 더 높은 품질을 자랑함에도 불구하고 GPT-3.5가 생성한 텍스트는 GPT-2 및 GROVER가 생성한 텍스트보다 훨씬 쉽게 탐지된다. 이는 최신 모델이 탐지 가능한 통계적 특징을 남길 수 있음을 시사한다.
• 극심한 데이터 불균형 상황(예: 인간이 작성한 텍스트가 10%)에서 대부분의 모델, CoCo를 포함해도 정확도가 50% 이하로 급격히 떨어지지만, CoCo는 베이스라인 대비 상대적으로 더 높은 강건성을 유지한다.