[論文レビュー] ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine Learning Model for Detecting Short ChatGPT-generated Text

Sandra Mitrović, Davide Andreoletti+1 more|arXiv (Cornell University)|Jan 30, 2023

Topic Modeling被引用数 81

ひとこと要約

本論文は、短いChatGPT生成のレビューと人間が書いたレビューを区別するTransformerベースの分類器を訓練し、SHAPを用いてモデルの決定を説明します。MLがパープレキシティベースの手法を上回り、特に問い合わせが生成を促す場合に性能が高くなることを示しています。

ABSTRACT

ChatGPT has the ability to generate grammatically flawless and seemingly-human replies to different types of questions from various domains. The number of its users and of its applications is growing at an unprecedented rate. Unfortunately, use and abuse come hand in hand. In this paper, we study whether a machine learning model can be effectively trained to accurately distinguish between original human and seemingly human (that is, ChatGPT-generated) text, especially when this text is short. Furthermore, we employ an explainable artificial intelligence framework to gain insight into the reasoning behind the model trained to differentiate between ChatGPT-generated and human-generated text. The goal is to analyze model's decisions and determine if any specific patterns or characteristics can be identified. Our study focuses on short online reviews, conducting two experiments comparing human-generated and ChatGPT-generated text. The first experiment involves ChatGPT text generated from custom queries, while the second experiment involves text generated by rephrasing original human-generated reviews. We fine-tune a Transformer-based model and use it to make predictions, which are then explained using SHAP. We compare our model with a perplexity score-based approach and find that disambiguation between human and ChatGPT-generated reviews is more challenging for the ML model when using rephrased text. However, our proposed approach still achieves an accuracy of 79%. Using explainability, we observe that ChatGPT's writing is polite, without specific details, using fancy and atypical vocabulary, impersonal, and typically it does not express feelings.

研究の動機と目的

• レストランのレビューにおいて、機械学習モデルが短いChatGPT生成テキストと人間のテキストを正確に識別できるかを評価する。
• 短いAI生成テキスト検出におけるパープレキシティベースのベースラインの有効性を評価する。
• ChatGPTと人間の執筆パターンを特定するため、モデルの決定に関する説明可能な洞察を提供する。
• 人間のレビューの言い換えが検出とモデルの説明にどう影響するかを探る。

提案手法

• DistilBERTベースのトランスフォーマー分類器を、人間とChatGPT生成のレビューのデータセットでファインチューニングする。
• GPT-2を用いてパープレキシティスコアを計算し、ラベリングの閾値を設定するパープレキシティベースのアプローチと、MLベースの分類を比較する。
• SHAPを適用して局所的な説明を得て、各予測を駆動する特徴（語）を特定する。
• (1) カスタムクエリからのChatGPT生成レビューと人間レビュー、(2) 人間のレビューから言い換えたChatGPT生成レビューという2つの実験を行う。
• 人間の内容の言い換えである場合の限界を理解するため、誤分類を分析する。

Figure 1: Schematic representation of the study design and building blocks.

実験結果

リサーチクエスチョン

• RQ1 RQ1: MLベースとパープレキシティベースのアプローチは、短いレビューにおけるAI生成テキストをどれだけうまく検出できるか、AIテキストが人間のテキストの言い換えである場合に性能はどう変化するか。
• RQ2 RQ2: MLモデルの決定を導くテキスト特徴量は何か、SHAPの説明はChatGPTと人間の執筆スタイルについて何を明らかにするか。

主な発見

• MLベースの分類器は実験1で0.98、実験2で0.79の精度を達成し、パープレキシティベースの手法（それぞれ0.84と0.69）を上回る。
• パープレキシティスコアだけでは実験1でChatGPT生成テキストと人間のテキストを識別できるが、実験2の言い換えた人間テキストを信頼して検出するには不十分である。
• SHAPの説明によれば、ChatGPTのテキストは一般に礼儀正で、非個人的で、珍しい語彙を使用する一方で、人間のテキストは一人称代名詞を使用し、感情を表現し、より具体的な細部が含まれる。
• 人間のレビューの言い換えは検出の信頼性を低下させ、AI生成コンテンツが単純な検出手法を回避する可能性を浮き彫りにする。
• 実験2の誤分類は、局所的手がかり（例: 'My'の代名詞、特定の項目の言及など）が、ChatGPT生成の言い換えにも人間ラベルの予測を導く可能性を示している。