[論文レビュー] Detecting ChatGPT: A Survey of the State of Detecting ChatGPT-Generated Text

Mahdi Dhaini, Wessel Poelman+1 more|arXiv (Cornell University)|Sep 14, 2023

Artificial Intelligence in Healthcare and Education被引用数 9

ひとこと要約

学術的な作業、データセット、定性的洞察に焦点を当て、ChatGPT生成テキストを検出するデータセットと方法の総説。堅牢性と多言語性に関する議論も含む。

ABSTRACT

While recent advancements in the capabilities and widespread accessibility of generative language models, such as ChatGPT (OpenAI, 2022), have brought about various benefits by generating fluent human-like text, the task of distinguishing between human- and large language model (LLM) generated text has emerged as a crucial problem. These models can potentially deceive by generating artificial text that appears to be human-generated. This issue is particularly significant in domains such as law, education, and science, where ensuring the integrity of text is of the utmost importance. This survey provides an overview of the current approaches employed to differentiate between texts generated by humans and ChatGPT. We present an account of the different datasets constructed for detecting ChatGPT-generated text, the various methods utilized, what qualitative analyses into the characteristics of human versus ChatGPT-generated text have been performed, and finally, summarize our findings into general insights

研究の動機と目的

• 法・教育・科学分野など、領域を超えた人間生成テキストとChatGPT生成テキストを区別する必要性を動機付けること。
• ChatGPT検出のために特化して開発されたデータセットと手法をレビューすること。
• 人間とChatGPTテキストの言語的・スタイル的差異について定性的洞察を要約すること。
• 検出における課題・制約・今後の研究方向を強調すること。
• データセットと手法の選択を導く統合的な視点を提供すること。

提案手法

• 検出アプローチを分類・整理する（分類器ベース、ゼロショット、パープレキシティベース、説明性重視）。
• ChatGPT検出のために作成されたデータセットを編纂・要約する（ドメイン、言語、公的入手可能性、外域変種）。
• 性能、攻撃的プロンプトへの頑健性、多言語能力に基づいて手法を比較する。
• 分野横断で人間 vs. ChatGPT テキストを識別する定性的な言語特徴を抽出する。
• 検出器の決定を分析するための説明性ツール（例：SHAP）を検討する。
• 一般的な洞察を統合し、未解決の課題と今後の方向性を整理する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT生成テキストを検出するデータセットは存在するか、公開アクセス可能か。
• RQ2 ChatGPT生成テキスト専用に提案された検出手法は何か、言語や分野ごとにどう異なるか。
• RQ3 言語的・スタイル的特徴は、分野を超えて人間とChatGPTの文章をどう区別するか。
• RQ4 ChatGPT検出手法の主な課題と頑健性の懸念（敵対的攻撃、外域テキスト、多言語性）は何か。

主な発見

Dataset (name)	Domain	Public	OOD	Size and Setup
Guo et al. 2023 (HC3-English)	Multi-domain	✓	×	Q&A Questions: 24,322 Human-A: 58,546 ChatGPT-A: 26,903
Guo et al. 2023 (HC3-Chinese)	Multi-domain	✓	×	Q&A Questions: 12,853 Human-A: 22,259 ChatGPT-A: 17,522
Yu et al. 2023 (CHEAT)	Scientific	×	✓	Abstracts Human: 15,395 ChatGPT: 35,304
He et al. 2023 (MGTBench)	General	✓	×	Q&A pairs Human: 2,817 ChatGPT: 2,817
Liu et al. 2023 (ArguGPT)	Education	✓	×	Essays Human: 4,115 ChatGPT: 4,038
Vasilatos et al. 2023	Education	Human*	×	Q&A Questions: 320 Human-A: 960 ChatGPT-A: 960
Mitrović et al. 2023	General	Human*	✓	Reviews Human: 1,000 ChatGPT-query: 395 ChatGPT-rephrase: 1,000
Weng et al. 2023	Scientific	Human	×	Title-Abstract pairs Human: 59,232 ChatGPT: 59,232
Antoun et al. 2023a	General	✓	✓	Q&A HC3-English OOD-ChatGPT: 5,969
Liao et al. 2023	Medical	Human	×	Abstracts and records Human: 2,200 ChatGPT: 2,200
Table 1 total entries and notes	—	—	—	—

• 分野横断で複数のデータセットが存在する（教育、科学、医学、一般的QA）。
• RoBERTaベースやトランスフォーマー系検出器は、パープレキシティベースのベースラインよりも優れることが多く、いくつかの敵対的バリアントに対して頑健。
• 英語データで訓練された言語モデルは、検出タスクで一般に多言語モデルより性能が良い。
• SHAPなどの説明性手法は検出器の決定を解釈し、顕著な特徴を特定するのに役立つ。
• 外域データや敵対的変更（スペルミス、同形字など）で検出性能が低下する。
• 短いテキストは検出信頼性を低下させ、長く文脈全体を含むテキストでより良い結果が得られる。