[논문 리뷰] A Benchmark Corpus for the Detection of Automatically Generated Text in Academic Publications

Vijini Liyanage, Davide Buscaldi외 1명|arXiv (Cornell University)|2022. 02. 04.

Topic Modeling인용 수 13

한 줄 요약

이 논문은 GPT-2로 생성된 전체 내용을 포함하는 데이터셋과, 개요의 일부 문장을 Arxiv-NLP로 생성된 문장으로 대체한 하이브리드 텍스트를 포함하는 두 가지 데이터셋을 사용하여 자동 생성된 학술 텍스트를 탐지하기 위한 벤치마크 코퍼스를 소개한다. 주요 기여는 DistilBERT를 사용할 때 최대 70.2%의 분류 정확도를 달성하는 도전적인 벤치마크로, 고품질의 합성 학술 텍스트 탐지의 어려움을 입증하며, 향상된 탐지 방법의 필요성을 강조한다.

ABSTRACT

Automatic text generation based on neural language models has achieved performance levels that make the generated text almost indistinguishable from those written by humans. Despite the value that text generation can have in various applications, it can also be employed for malicious tasks. The diffusion of such practices represent a threat to the quality of academic publishing. To address these problems, we propose in this paper two datasets comprised of artificially generated research content: a completely synthetic dataset and a partial text substitution dataset. In the first case, the content is completely generated by the GPT-2 model after a short prompt extracted from original papers. The partial or hybrid dataset is created by replacing several sentences of abstracts with sentences that are generated by the Arxiv-NLP model. We evaluate the quality of the datasets comparing the generated texts to aligned original texts using fluency metrics such as BLEU and ROUGE. The more natural the artificial texts seem, the more difficult they are to detect and the better is the benchmark. We also evaluate the difficulty of the task of distinguishing original from generated text by using state-of-the-art classification models.

연구 동기 및 목표

• 연구의 품질을 해칠 수 있는 증가하는 AI 생성 학술 콘텐츠의 위협에 대응하기 위해.
• 합성 학술 텍스트를 탐지하기 위한 고품질의 벤치마크 데이터셋을 구축하기 위해.
• 인간이 작성한 텍스트와 AI가 생성한 연구 콘텐츠를 구분하는 데의 난이도를 평가하기 위해.
• 학습 및 테스트용 탐지 모델을 위한 재현 가능하고 확장 가능한 자원을 제공하기 위해.
• 학술 출판 분야에서 언어 모델의 오용을 탐지하기 위한 강력한 도구 개발을 지원하기 위해.

제안 방법

• 원본 논문에서 추출한 짧은 프롬프트 이후 GPT-2 모델을 사용해 전체 연구 콘텐츠를 생성함으로써 완전히 합성된 데이터셋을 구축한다.
• 원본 논문 개요의 일부 문장을 Arxiv-NLP 모델이 생성한 텍스트로 대체하여 하이브리드 데이터셋을 만든다.
• 자연스러움과 일관성을 확보하기 위해 유창성 지표인 BLEU 및 ROUGE를 사용해 텍스트 품질을 평가한다.
• BERT, DistilBERT, LSTM, SVM 등의 다양한 분류 모델을 두 데이터셋에 대해 훈련 및 평가하여 탐지 난이도를 분석한다.
• 이전 연구 결과와의 성능 비교를 통해 본 벤치마크의 난이도 수준을 검증한다.
• 두 데이터셋 전반에 걸쳐 원본 텍스트와 생성 텍스트를 구분하는 이진 분류 설정을 사용한다.

실험 결과

연구 질문

• RQ1 최신 기술 모델은 완전히 합성된 데이터셋과 하이브리드 데이터셋에서 AI 생성 학술 텍스트를 얼마나 효과적으로 탐지할 수 있는가?
• RQ2 BLEU 및 ROUGE와 같은 유창성 지표는 생성된 학술 텍스트의 자연스러움을 얼마나 잘 반영하는가?
• RQ3 완전히 생성된 텍스트와 부분적으로 대체된(하이브리드) 텍스트 간 탐지 난이도는 어떻게 비교되는가?
• RQ4 기존의 탐지 모델들은 고품질의 합성 학술 텍스트를 인간이 작성한 콘텐츠와 신뢰성 있게 구분할 수 있는가?
• RQ5 기존 문헌에서의 탐지 벤치마크와 비교해 본 논문에서 제안하는 벤치마크는 얼마나 더 어려운가?

주요 결과

• DistilBERT 모델은 완전히 생성된 데이터셋에서 62.5%의 최고 분류 정확도를 기록하여 고품질의 합성 콘텐츠가 중간 정도로 탐지 가능함을 시사한다.
• 하이브리드 데이터셋에서는 DistilBERT가 70.2%의 정확도를 기록하여, 부분적 대체가 완전히 생성된 콘텐츠보다 탐지 난이도를 높임을 보여준다.
• 대부분의 모델에서 하이브리드 데이터셋이 완전히 생성된 데이터셋보다 더 어려운 것으로 나타났으며, LSTM를 제외한 모든 모델에서 동일한 경향을 보였다. LSTM는 완전히 생성된 데이터셋에서 더 뛰어난 성능을 보였다.
• 기존 연구(예: Maronikolakis 등, 2020)에서 보고된 성능과 비교해 분류 결과가 유의미하게 낮게 나타나, 제안된 벤치마크가 더 어려우며 따라서 탐지 시스템 평가에 더 적합함을 확인했다.
• 모델들의 전체 정확도가 낮게 유지되었으며, 최고치는 70.2%에 그쳐 현재의 탐지 방법이 여전히 부족함을 입증하며, 고도화된 AI 생성 학술 텍스트 탐지의 열린 과제임을 재확인한다.
• 고품질의 합성 및 하이브리드 학술 콘텐츠로 구성된 이 벤치마크 코퍼스는 향후 AI 생성 학술 콘텐츠 자동 탐지 분야의 기초 자료로 효과적이다.