[論文レビュー] Fighting Fire with Fire: Can ChatGPT Detect AI-generated Text?

Amrita Bhattacharjee, Huan Liu|arXiv (Cornell University)|Aug 2, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、ChatGPTがAI生成テキストをゼロショット分類器として扱うことで、AI生成テキストの検出が可能かどうかを調査している。AI生成コンテンツを特定するには苦戦するが、ChatGPT（特にGPT-3.5）は人間が書いたテキストを検出する能力が著しく高く、この強みを活かした非対称な検出戦略により、信頼性の高い間接的検出が可能となる。

ABSTRACT

Large language models (LLMs) such as ChatGPT are increasingly being used for various use cases, including text content generation at scale. Although detection methods for such AI-generated text exist already, we investigate ChatGPT's performance as a detector on such AI-generated text, inspired by works that use ChatGPT as a data labeler or annotator. We evaluate the zero-shot performance of ChatGPT in the task of human-written vs. AI-generated text detection, and perform experiments on publicly available datasets. We empirically investigate if ChatGPT is symmetrically effective in detecting AI-generated or human-written text. Our findings provide insight on how ChatGPT and similar LLMs may be leveraged in automated detection pipelines by simply focusing on solving a specific aspect of the problem and deriving the rest from that solution. All code and data is available at https://github.com/AmritaBh/ChatGPT-as-Detector.

研究の動機と目的

• 大規模言語モデル（LLM）であるChatGPTが、微調整なしにAI生成テキストをゼロショット検出器として機能させられるかどうかを評価すること。
• ChatGPTが人間が書いたテキストとAI生成テキストを区別する際の非対称な性能を調査すること。
• ChatGPTの優れた人間テキスト検出能力を活用して、間接的ではあるが効果的なAIテキスト検出パイプラインを構築する可能性を検討すること。
• この検出タスクにおけるGPT-3.5とGPT-4のモデル固有のパフォーマンス差を分析すること。
• データセットアーチファクトや時間的変化（temporal drift）に対するモデル感受性が、検出信頼性に与える影響を理解すること。

提案手法

• ChatGPT（GPT-3.5およびGPT-4）を微調整なしに、ゼロショット分類器として人間が書いたテキストとAI生成テキストを区別する目的で使用する。
• 各入力サンプルに対して、二値分類の指示文「このテキストは人間が書いたものか、AIが生成したものか？」をモデルに提示する。
• 公開済みのTuringBenchデータセットを用いて実験を実施し、CNNおよびThe Washington Postのニュース記事に加え、19種類の異なるAI生成器を含む。
• 複数の生成器タイプやテキストスタイルをカバーするように、標準的な指標（正解率、適合率、再現率、F1スコア）を用いて性能を評価する。
• GPT-3.5とGPT-4を同じベンチマークで比較し、耐性と信頼性の差を評価する。
• 間接検出戦略を提案し、人間が書いたテキストを信頼性高く特定することで、除外法によりAI生成テキストを同定する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTはゼロショット設定下で、AI生成テキストを正確に検出できるか？
• RQ2 ChatGPTのAI生成テキスト検出と人間が書いたテキスト検出のパフォーマンスには、どのような差があるか？
• RQ3 GPT-3.5はGPT-4よりも人間が書いたテキストを検出する際に優れているのか。もしそうなら、その理由は何か？
• RQ4 データセットアーチファクトやモデル感受性は、時間の経過とともに検出信頼性にどのように影響するか？
• RQ5 ChatGPTの非対称な検出能力は、効果的な間接的AIテキスト検出パイプラインの構築に活用可能か？

主な発見

• GPT-3.5はGPT-4に比べて、人間が書いたテキストの検出において著しく優れたパフォーマンスを示し、偽陰性率が低かった。
• GPT-4は、特にウェブスクレイピング由来のデータから生じるアーチファクトやノイズに対して高い感受性を示し、時間の経過とともに一貫性のない性能低下を示した。
• ChatGPTはAI生成テキストの特定に苦戦しており、とくに最新または高度な生成器からの出力では顕著に弱い。これは、検出能力に根本的な非対称性があることを示唆している。
• AI生成テキストの検出性能が低いにもかかわらず、ChatGPTの人間テキスト検出能力の高さが、信頼性の高い間接的検出戦略を可能にした。
• GPT-3.5とGPT-4のパフォーマンス格差から、新しい大規模モデルが必ずしも検出タスクにおいて信頼性が高いとは限らないことが示された。これは、データアーチファクトに対する感受性の増大に起因する。
• 人間が書いたテキストの識別を代理指標として用いることで、GPT-3.5のようなLLMが自動検出パイプラインの信頼性のある構成要素として利用可能であることが本研究の結果から支持された。