[論文レビュー] Classification of Human- and AI-Generated Texts: Investigating Features for ChatGPT

Lorenz Mindner, Tim Schlippe+1 more|arXiv (Cornell University)|Aug 10, 2023

Text Readability and Simplification参考文献 27被引用数 6

ひとこと要約

本論文では、パープレキシティ、意味的類似度、リスト照合、誤りベースの指標、リーダビリティ、AIフィードバック、テキストベクトルを含む、従来の特徴量と新規特徴量を多様に組み合わせた分類フレームワークを提案する。最高のシステムは、高度なAI生成テキストの検出でF1スコア96.9%を達成し、GPTZeroに比べて基本的な再表現検出で相対的にF1スコア183.8%の向上を示した。

ABSTRACT

Recently, generative AIs like ChatGPT have become available to the wide public. These tools can for instance be used by students to generate essays or whole theses. But how does a teacher know whether a text is written by a student or an AI? In our work, we explore traditional and new features to (1) detect text generated by AI from scratch and (2) text rephrased by AI. Since we found that classification is more difficult when the AI has been instructed to create the text in a way that a human would not recognize that it was generated by an AI, we also investigate this more advanced case. For our experiments, we produced a new text corpus covering 10 school topics. Our best systems to classify basic and advanced human-generated/AI-generated texts have F1-scores of over 96%. Our best systems for classifying basic and advanced human-generated/AI-rephrased texts have F1-scores of more than 78%. The systems use a combination of perplexity, semantic, list lookup, error-based, readability, AI feedback, and text vector features. Our results show that the new features substantially help to improve the performance of many classifiers. Our best basic text rephrasing detection system even outperforms GPTZero by 183.8% relative in F1-score.

研究の動機と目的

• 教育現場におけるAI生成およびAI再表現された学生用テキストの検出という増加する課題に対処すること。
• 従来の特徴量（例：パープレキシティやバーストネス）に加え、リスト照合、誤りベースの指標、AIフィードバックといった新規特徴量の有効性を検証すること。
• 基本的および高度なAIテキスト生成および再表現に対応する、強固で一般化可能な検出システムの開発と評価。
• 今後のAIテキスト検出分野の研究を支援するため、公開可能で高品質なコーパスの提供。
• GPTZeroなどの既存ツールと比較し、優れた検出精度を示すベンチマークの構築。

提案手法

• 著者らは、10の学校のテーマにわたる500件の記事から成る、新たに作成され、公開されたコーパスを構築した。各記事は人間生成またはAI生成・再表現のラベルが付与された。
• パープレキシティ、意味的類似度、リスト照合（タイトルの繰り返しを含む）、誤りベースの指標（例：文法的誤り）、リーダビリティスコア、AIフィードバック信号、テキストベクトル表現を含む包括的な特徴量セットを設計した。
• XGBoost、ランダムフォレスト、マルチレイヤーパーセプトロンといった複数の分類器を、異なる特徴量の組み合わせで学習・評価した。
• 従来の特徴量と新しく導入された特徴量を含む、特徴量セットの系統的比較を通じて、各特徴量が検出性能に与える影響を特定した。
• 正解率とF1スコアを用いて性能を測定し、GPTZeroをベースラインとして比較した。
• 最高のモデルは全特徴量カテゴリを組み合わせており、特徴量の多様性が検出の堅牢性を高めることを示した。

Figure 3: $PPL_{mean}$ Distribution.

実験結果

リサーチクエスチョン

• RQ1 高度なプロンプト戦略を用いた状況下でも、従来の特徴量と新規特徴量が、人間生成テキストとAI生成テキストを区別するのにどの程度有効であるか。
• RQ2 リスト照合、誤りベースの指標、AIフィードバックといった特徴量は、パープレキシティやバーストネスといった標準的指標を上回る検出性能をどの程度向上させるか。
• RQ3 GPTZeroなどの既存ツールを上回る検出システムは、AI再表現テキストの検出において実現可能か。
• RQ4 基本的および高度なテキスト生成・再表現のシナリオにおいて、検出モデルの性能はどのように変動するか。
• RQ5 各特徴量カテゴリが全体の分類性能に果たす相対的寄与度はどの程度か。

主な発見

• 高度なAI生成テキスト検出において、最高のシステムはF1スコア96.9%を達成し、複雑なAI出力を高信頼で区別できることを示した。
• AI再表現テキストの検出において、最高のシステムはF1スコア81.7%を達成した。これはGPTZeroの45.8% F1スコアを大きく上回った。
• 基本的テキスト再表現検出の最良システムは、GPTZeroに比べて相対的にF1スコアで183.8%の向上を示した。
• 新規特徴量（特にリスト照合とAIフィードバック）の導入により、すべての状況で検出性能が顕著に向上した。
• テキストベクトルおよびドキュメントレベルの特徴量が最も予測力が高く、誤りベースの特徴量は中程度だが一貫した向上効果を示した。
• 分類器の種類に関わらず、全特徴量セットを用いた場合、XGBoost、ランダムフォレスト、MLPは同等の性能を示し、システムの堅牢性が確認された。

Figure 4: $sentiment_{subjectivity}$ Distribution.