[論文レビュー] SeqXGPT: Sentence-Level AI-Generated Text Detection

Pengyu Wang, Linyang Li+4 more|arXiv (Cornell University)|Oct 13, 2023

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、白ボックスLLMからの単語単位の対数尤度リストを波状の特徴として用い、CNN-Transformerアーキテクチャで処理する文単位のAI生成テキスト検出手法SeqXGPTを紹介する。文単位およびドキュメント単位の両方の検出において、従来手法を顕著に上回り、分布外データに対しても強い汎化性能を示す。

ABSTRACT

Widely applied large language models (LLMs) can generate human-like content, raising concerns about the abuse of LLMs. Therefore, it is important to build strong AI-generated text (AIGT) detectors. Current works only consider document-level AIGT detection, therefore, in this paper, we first introduce a sentence-level detection challenge by synthesizing a dataset that contains documents that are polished with LLMs, that is, the documents contain sentences written by humans and sentences modified by LLMs. Then we propose extbf{Seq}uence extbf{X} (Check) extbf{GPT}, a novel method that utilizes log probability lists from white-box LLMs as features for sentence-level AIGT detection. These features are composed like extit{waves} in speech processing and cannot be studied by LLMs. Therefore, we build SeqXGPT based on convolution and self-attention networks. We test it in both sentence and document-level detection challenges. Experimental results show that previous methods struggle in solving sentence-level AIGT detection, while our method not only significantly surpasses baseline methods in both sentence and document-level detection challenges but also exhibits strong generalization capabilities.

研究の動機と目的

• 現在の手法がドキュメント単位の検出に限定されているのに対し、細粒度な文単位のAI生成テキスト（AIGT）検出のギャップを埋める。
• 人間が書いた文とLLMが変更した文が混合されたドキュメントを含む、新しいベンチマークデータセットを導入し、現実世界のAI支援書き込みをシミュレートする。
• 短い入力長にもかかわらず、文単位でのAI生成コンテンツを同定できる、強力で汎化性の高い検出モデルを開発する。
• 教師ありモデルの過学習や短いテキストにおける性能の低さといった、従来手法の限界を克服する。

提案手法

• 白ボックスLLMから単語単位の対数尤度を抽出し、それを時間的波状の信号として扱う基礎的特徴とする。
• 畳み込みニューラルネットワーク（CNN）を用いて、波状の対数尤度系列からの局所的で凝縮された特徴を抽出する。
• CNNの後に自己注意（Transformer）モジュールを適用し、特徴表現内の長距離依存関係と文脈的関係をモデル化する。
• シーケンスラベルリングを用いて各単語の出典（人間またはAI）を予測し、最も頻度の高いラベルが文単位のカテゴリを決定する。
• 混合人間-AIドキュメントの合成データセット上で、クロスエントロピー損失を用いてエンドツーエンドでモデルを訓練する。
• 文単位およびドキュメント単位の両方の検出タスク、ならびに分布外一般化について評価する。

実験結果

リサーチクエスチョン

• RQ1 短い入力長と限られた文脈の下で、文単位のAI生成コンテンツを効果的に検出できるか？
• RQ2 従来のAIGT検出手法は、ドキュメント単位の検出と比較して、文単位の検出に応用した際に性能がどの程度低下するか？
• RQ3 GPT-3.5-turboなどの1つのLLMで学習したモデルが、他のLLMが生成した文や未観測ドメインの文を検出する際に、どの程度汎化できるか？
• RQ4 対数尤度特徴は、文単位でAI生成テキストと人間が書いたテキストを区別するために果たす役割は何か？
• RQ5 CNNやTransformerレイヤーといったアーキテクチャ的要素は、生成テキスト内の微細な統計的差を検出する能力にどのように寄与するか？

主な発見

• SeqXGPTは、短い入力長と細粒度モデリングの欠如により苦戦する、DetectGPT や Sniffer といったベースライン手法を顕著に上回る。
• ドキュメント単位の検出においても優れた性能を示し、異なる入力スケールに対しても堅牢であることが示された。
• 分布外データセットにおいて優れた汎化性能を示し、未観測のLLMやドメインからの文の検出においても高い正確性を維持した。
• アブレーションスタディの結果、CNNは相関が高く次元が低い対数尤度波から意味のある特徴を抽出するために不可欠であり、Transformer単体ではこれらの疎な特徴から効果的に学習できないことが判明した。
• CNNとTransformerの組み合わせが最良の性能を達成した。CNNは局所的パターンを抽出し、Transformerは文脈的依存関係をモデル化する。
• 白ボックスの対数尤度に依存するアプローチにより、高い解釈可能性が得られ、RoBERTaの微調整のような純粋に意味的特徴に依存するモデルとは異なり、過学習を回避できる。