[논문 리뷰] ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine Learning Model for Detecting Short ChatGPT-generated Text

Sandra Mitrović, Davide Andreoletti외 1명|arXiv (Cornell University)|2023. 01. 30.

Topic Modeling인용 수 81

한 줄 요약

이 논문은 Transformer 기반 분류기를 훈련하여 짧은 ChatGPT 생성 검토를 사람 작성 검토와 구분하고, 모델 결정 설명에 SHAP를 사용하여 ML이 perplexity 기반 방법을 능가하는 것을 보여준다. 특히 질의가 생성에 영향을 줄 때.

ABSTRACT

ChatGPT has the ability to generate grammatically flawless and seemingly-human replies to different types of questions from various domains. The number of its users and of its applications is growing at an unprecedented rate. Unfortunately, use and abuse come hand in hand. In this paper, we study whether a machine learning model can be effectively trained to accurately distinguish between original human and seemingly human (that is, ChatGPT-generated) text, especially when this text is short. Furthermore, we employ an explainable artificial intelligence framework to gain insight into the reasoning behind the model trained to differentiate between ChatGPT-generated and human-generated text. The goal is to analyze model's decisions and determine if any specific patterns or characteristics can be identified. Our study focuses on short online reviews, conducting two experiments comparing human-generated and ChatGPT-generated text. The first experiment involves ChatGPT text generated from custom queries, while the second experiment involves text generated by rephrasing original human-generated reviews. We fine-tune a Transformer-based model and use it to make predictions, which are then explained using SHAP. We compare our model with a perplexity score-based approach and find that disambiguation between human and ChatGPT-generated reviews is more challenging for the ML model when using rephrased text. However, our proposed approach still achieves an accuracy of 79%. Using explainability, we observe that ChatGPT's writing is polite, without specific details, using fancy and atypical vocabulary, impersonal, and typically it does not express feelings.

연구 동기 및 목표

• 레스토랑 리뷰에서 짧은 ChatGPT 생성 텍스트를 인간 텍스트와 정확히 구분할 수 있는 기계 학습 모델의 가능성을 평가한다.
• 짧은 AI 생성 텍스트 탐지를 위한 perplexity 기반 기준선의 효과를 평가한다.
• 모델의 결정에 대한 설명 가능한 인사이트를 제공하여 ChatGPT vs 인간의 글쓰기 패턴을 식별한다.
• 인간 리뷰의 재표현이 탐지 및 모델 설명에 어떤 영향을 미치는지 탐구한다.

제안 방법

• 사람과 ChatGPT가 생성한 리뷰 데이터셋에서 DistilBERT 기반 변환기 분류기를 미세조정한다.
• GPT-2를 사용하여 perplexity 점수를 계산하고 라벨링 임계값을 설정하는 perplexity 기반 접근법과 ML 기반 분류를 비교한다.
• SHAP를 적용하여 로컬 설명을 얻고 각 예측을 주도하는 특징(단어)을 식별한다.
• 두 가지 실험을 사용한다: (1) 커스텀 질의에서 생성된 ChatGPT 리뷰 vs 인간 리뷰, (2) 인간 리뷰에서 재표현된 ChatGPT 생성 리뷰.
• 텍스트가 인간 콘텐츠의 재표현인 경우의 한계를 이해하기 위해 오분류를 분석한다.

Figure 1: Schematic representation of the study design and building blocks.

실험 결과

연구 질문

• RQ1 RQ1: 짧은 리뷰에서 ML 기반과 perplexity 기반 접근법은 얼마나 잘 AI 생성 텍스트를 탐지하며, AI 텍스트가 인간 텍스트의 재표현일 때 성능은 어떻게 달라지는가?
• RQ2 RQ2: ML 모델의 결정에 작용하는 텍스트 특징은 무엇이며, SHAP 설명은 ChatGPT 대 인간의 글쓰기 스타일에 대해 무엇을 보여주는가?

주요 결과

• ML 기반 분류기는 실험 1에서 0.98의 정확도, 실험 2에서 0.79의 정확도를 달성하여 각각 0.84 및 0.69의 점수를 얻은 perplexity 기반 접근법보다 우수하다.
• Perplexity 점수만으로는 실험 1에서 ChatGPT 생성 텍스트와 인간 텍스트를 구별할 수 있지만 실험 2에서 재표현된 인간 텍스트를 신뢰하게 탐지하는 데 실패한다.
• SHAP 설명은 ChatGPT 텍스트가 일반적으로 더 정중하고 비개인적이며 특이한 어휘를 사용하는 반면, 인간 텍스트는 인칭 대명사를 사용하고 감정을 표현하며 더 자세한 구체성을 가진다는 것을 보여준다.
• 인간 리뷰를 재표현하면 탐지 신뢰도가 감소하여 간단한 탐지 방법을 회피할 수 있는 AI 생성 콘텐츠의 가능성을 강조한다.
• 실험 2의 오분류는 지역적 단서(예: 'My'와 같은 인칭 대명사, 특정 항목의 언급)가 여전히 ChatGPT가 생성한 재표현에서 인간 라벨 예측으로 이어질 수 있음을 시사한다.