[논문 리뷰] Distinguishing Human Generated Text From ChatGPT Generated Text Using Machine Learning

Niful Islam, Debopom Sutradhar외 4명|arXiv (Cornell University)|2023. 05. 26.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 TF-IDF 특성을 사용한 ML 기반 접근법으로 사람 작성 텍스트와 ChatGPT가 생성한 텍스트를 구분하고, 11개의 분류기를 평가하며 Extremely Randomized Trees가 GPT-3.5 데이터에서 77% 정확도로 가장 우수하다고 밝혀다.

ABSTRACT

ChatGPT is a conversational artificial intelligence that is a member of the generative pre-trained transformer of the large language model family. This text generative model was fine-tuned by both supervised learning and reinforcement learning so that it can produce text documents that seem to be written by natural intelligence. Although there are numerous advantages of this generative model, it comes with some reasonable concerns as well. This paper presents a machine learning-based solution that can identify the ChatGPT delivered text from the human written text along with the comparative analysis of a total of 11 machine learning and deep learning algorithms in the classification process. We have tested the proposed model on a Kaggle dataset consisting of 10,000 texts out of which 5,204 texts were written by humans and collected from news and social media. On the corpus generated by GPT-3.5, the proposed algorithm presents an accuracy of 77%.

연구 동기 및 목표

• 사실 misinformation 및 윤리적 문제로 인해 인간과 AI 생성 텍스트를 구분할 필요성에 대한 동기 부여.
• TF-IDF 벡터화를 사용한 텍스트를 인간-또는 ChatGPT 생성으로 분류하는 머신러닝 파이프라인 제안.
• GPT-3.5 기반 데이터셋에서 효과적인 탐지기를 식별하기 위해 기존 및 딥러닝 분류기의 광범위한 세트를 평가.

제안 방법

• undersampling으로 데이터셋의 균형 맞춤.
• TF-IDF로 텍스트를 벡터화하여 용어 중요성 포착.
• 80/20 train/test 분할을 사용하여 11개의 분류기 및 MLP와 LSTM을 학습·평가.
• 트리 기반 모델에서 앙상블 유사 동작을 위한 다수결 투표 사용.
• 정확도, 정밀도, 재현율, F1-스코어, MCC를 포함한 지표 보고.

실험 결과

연구 질문

• RQ1 GPT-3.5 기반 코퍼스에서 기계학습 모델이 인간이 작성한 텍스트와 ChatGPT 생성 텍스트를 신뢰성 있게 구분할 수 있는가.
• RQ2 TF-IDF 특징과 함께 어떤 기계학습 또는 딥러닝 알고리즘이 이 탐지 작업에 가장 효과적인가.
• RQ3 전처리 선택(예: 불용어 제거)과 데이터 밸런싱이 분류 성능에 어떤 영향을 미치는가.
• RQ4 주어진 데이터셋에서 전통 ML과 신경망 접근법의 상대적 성능은 어떠한가.

주요 결과

모델	정확도	정밀도	재현율	F1-스코어	MCC
Logistic Regression	0.74	0.73	0.73	0.73	0.48
Support Vector Machines	0.75	0.75	0.71	0.73	0.50
Decision Tree	0.63	0.75	0.79	0.67	0.29
K-Nearest Neighbor	0.69	0.67	0.68	0.67	0.37
Random Forest	0.76	0.73	0.81	0.76	0.53
AdaBoost	0.71	0.68	0.74	0.71	0.43
Bagging Classifier	0.74	0.71	0.75	0.73	0.47
Gradient Boosting	0.71	0.66	0.78	0.72	0.42
Multi-layer Perceptron	0.72	0.73	0.72	0.72	0.43
Long Short-Term Memory	0.73	0.73	0.77	0.75	0.46
Extremely Randomized Trees	0.77	0.74	0.78	0.76	0.54

• Extra Tree (Extremely Randomized Trees) 분류기가 0.77의 최고 정확도와 0.54의 MCC를 달성했다.
• Random Forest와 SVM도 각각 0.75–0.76 근처의 정확도로 비교적 양호한 성능을 보인다.
• K-Nearest Neighbor와 Decision Tree는 이 데이터셋에서 성능이 다소 낮다.
• 딥러닝 모델(MLP와 LSTM)은 학습 정확도는 높지만 검정(테스트) 성능은 낮다.
• TF-IDF와 80:20 분할 및 undersampling 밸런싱이 인간과 ChatGPT 텍스트를 효과적으로 구분하는 데 기여한다.