[論文レビュー] On the Possibilities of AI-Generated Text Detection

Souradip Chakraborty, Amrit Singh Bedi+4 more|arXiv (Cornell University)|Apr 10, 2023

Topic Modeling被引用数 51

ひとこと要約

この論文はAI生成テキスト検出が複数のサンプルで一般的に可能であることを証明し、サンプル複雑さの境界を導出し、複数のデータセットと検出器での実験を通じて理論を検証します。

ABSTRACT

Our work addresses the critical issue of distinguishing text generated by Large Language Models (LLMs) from human-produced text, a task essential for numerous applications. Despite ongoing debate about the feasibility of such differentiation, we present evidence supporting its consistent achievability, except when human and machine text distributions are indistinguishable across their entire support. Drawing from information theory, we argue that as machine-generated text approximates human-like quality, the sample size needed for detection increases. We establish precise sample complexity bounds for detecting AI-generated text, laying groundwork for future research aimed at developing advanced, multi-sample detectors. Our empirical evaluations across multiple datasets (Xsum, Squad, IMDb, and Kaggle FakeNews) confirm the viability of enhanced detection methods. We test various state-of-the-art text generators, including GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, and Llama-2-70B-Chat-HF, against detectors, including oBERTa-Large/Base-Detector, GPTZero. Our findings align with OpenAI's empirical data related to sequence length, marking the first theoretical substantiation for these observations.

研究の動機と目的

• 人間と機械テキストのさまざまな分布にわたって、実践的にAI生成テキストを検出できるかどうかを評価する。
• IID および non-IID 設定の下でAI生成テキストを検出するためのサンプル複雑性の境界を導く。
• 複数データセット、LLM、検出器を用いた実証的検証を提供し、実用的な検出可能性を示す。

提案手法

• 検出問題を、人間テキスト分布 h(s) と機械テキスト分布 m(s) の間の二項仮説検定としてモデル化する。
• Le Cam の補題を用いて検出誤差を総変動距離 TV(m,h) に関連付け、尤度比検出器を介して AUROC の上限を導出する。
• n 個の独立同分布サンプルを収集すると TV(m^{⊗n},h^{⊗n}) が n とともに指数関数的に増加し、任意の δ>0 に対して高い AUROC を実現できることを示す。
• 尤度比ベースの検出器が AUROC の境界を達成し、このタスクに対して最適であることを示し、中心化されたサンプル複雑性結果（定理1）を提供する。
• ρ およびグループ構造による依存パラメータを用いた非 IID 設定への結果の拡張（定理2）。
• GPT-2、GPT-3.5-Turbo、Llama 系列などの生成器と RoBERTa ベース検出器、ZeroGPT などの検出器を用いた XSum、Squad、IMDb、Kaggle FakeNews の実験で理論を検証する。

実験結果

リサーチクエスチョン

• RQ1 現実的な人間テキストと機械テキストの分布近接性の下で、AI生成テキストは実践的に検出可能か？
• RQ2 IID および非 IID 条件で検出器の性能（AUROC）はサンプル数によってどう変化するか？
• RQ3 AI テキスト検出で目標 AUROC を達成するための理論的サンプル複雑性境界はどうなるか？
• RQ4 標準データセットでの経験的結果は、複数の検出器と生成器に対して提案された情報理論的境界と一致するか？

主な発見

• AUROC の上限はサンプル数 n に対して TV(m^{⊗n},h^{⊗n}) を介して指数関数的に増加する。
• 尤度比ベースの検出器は AUROC の境界を達成し、このタスクにとって最適である。
• 定理1: TV(m,h)=δ>0 のとき、目標 AUROC ε を達成するには n = Ω((1/δ^2) log(1/(1−ε)))（IID ケース）。
• 定理2 はサンプル間の依存（ρ および c_j）に依存する追加項を伴う非 IID 設定へ拡張。
• XSum および Squad の経験的結果は、シーケンス長/サンプル数が増加すると AUROC が約58% から 97% へ改善する（さまざまな検出器と生成器で）。
• Zero-shot およびパラフレーズ耐性実験は、より多くのサンプルで検出性能が向上することを示すが、パラフレーズは AUROC を概ね 15%程度低下させる。