[논문 리뷰] Large Language Model (LLM) AI text generation detection based on transformer deep learning algorithm

Yuhong Mo, Hao Qin외 3명|arXiv (Cornell University)|2024. 04. 06.

Computational and Text Analysis Methods인용 수 23

한 줄 요약

이 논문은 LLM-생성 텍스트를 위한 트랜스포머 기반 탐지 도구를 개발하여 검증 및 테스트 세트에서 매우 높은 정확도를 달성한다.

ABSTRACT

In this paper, a tool for detecting LLM AI text generation is developed based on the Transformer model, aiming to improve the accuracy of AI text generation detection and provide reference for subsequent research. Firstly the text is Unicode normalised, converted to lowercase form, characters other than non-alphabetic characters and punctuation marks are removed by regular expressions, spaces are added around punctuation marks, first and last spaces are removed, consecutive ellipses are replaced with single spaces and the text is connected using the specified delimiter. Next remove non-alphabetic characters and extra whitespace characters, replace multiple consecutive whitespace characters with a single space and again convert to lowercase form. The deep learning model combines layers such as LSTM, Transformer and CNN for text classification or sequence labelling tasks. The training and validation sets show that the model loss decreases from 0.127 to 0.005 and accuracy increases from 94.96 to 99.8, indicating that the model has good detection and classification ability for AI generated text. The test set confusion matrix and accuracy show that the model has 99% prediction accuracy for AI-generated text, with a precision of 0.99, a recall of 1, and an f1 score of 0.99, achieving a very high classification accuracy. Looking forward, it has the prospect of wide application in the field of AI text detection.

연구 동기 및 목표

• 다양한 응용 분야에서 AI 생성 텍스트를 정확하게 탐지해야 하는 필요성을 동기부여한다.
• 분류를 위해 트랜스포머 기반 딥러닝을 활용한 탐지 모델을 개발한다.
• 탐지 성능을 입증하기 위해 검증 세트와 테스트 세트에서 모델을 평가한다.

제안 방법

• 유니코드 정규화와 정규식 기반 정리를 통해 텍스트를 전처리하고, 그다음 소문자화와 구두점 처리를 수행한다.
• 텍스트 분류 또는 시퀀스 레이블링 작업을 위해 LSTM, Transformer, CNN 계층을 결합한다.
• 모델을 학습 및 검증하고, 각 단계에서 손실 및 정확도 개선을 보고한다(손실 0.127에서 0.005로, 정확도 94.96에서 99.8로).
• 혼동 행렬을 이용한 테스트 세트 평가를 수행하고 정확도, 정밀도, 재현율 및 F1-점수를 보고한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 딥러닝 모델이 서로 다른 데이터셋에서 AI 생성 텍스트를 효과적으로 탐지할 수 있는가?
• RQ2 LLM 생성 콘텐츠에 대한 탐지기의 성능을 최대화하는 전처리 단계는 무엇인가?
• RQ3 결합 아키텍처(LSTM + Transformer + CNN)가 단일 아키텍처 탐지기와 비교하여 정확도와 신뢰도 측면에서 어떤 차이를 보이는가?

주요 결과

• 모델은 검증 정확도가 94.96에서 99.8로 증가하고, 대응하는 손실이 0.127에서 0.005로 감소했다.
• 테스트 세트에서 탐지기가 AI 생성 텍스트에 대해 99% 예측 정확도를 달성했다.
• 테스트 세트의 정밀도는 0.99, 재현율은 1, F1-점수는 0.99였다.
• 결과는 AI 생성 텍스트에 대한 매우 높은 분류 정확도와 강력한 탐지 능력을 시사한다.