[論文レビュー] Large Language Model (LLM) AI text generation detection based on transformer deep learning algorithm

Yuhong Mo, Hao Qin+3 more|arXiv (Cornell University)|Apr 6, 2024

Computational and Text Analysis Methods被引用数 23

ひとこと要約

論文は大規模言語モデル生成テキストを検出するトランスフォーマーべースの検出ツールを開発し、検証セットとテストセットで非常に高い精度を達成します。

ABSTRACT

In this paper, a tool for detecting LLM AI text generation is developed based on the Transformer model, aiming to improve the accuracy of AI text generation detection and provide reference for subsequent research. Firstly the text is Unicode normalised, converted to lowercase form, characters other than non-alphabetic characters and punctuation marks are removed by regular expressions, spaces are added around punctuation marks, first and last spaces are removed, consecutive ellipses are replaced with single spaces and the text is connected using the specified delimiter. Next remove non-alphabetic characters and extra whitespace characters, replace multiple consecutive whitespace characters with a single space and again convert to lowercase form. The deep learning model combines layers such as LSTM, Transformer and CNN for text classification or sequence labelling tasks. The training and validation sets show that the model loss decreases from 0.127 to 0.005 and accuracy increases from 94.96 to 99.8, indicating that the model has good detection and classification ability for AI generated text. The test set confusion matrix and accuracy show that the model has 99% prediction accuracy for AI-generated text, with a precision of 0.99, a recall of 1, and an f1 score of 0.99, achieving a very high classification accuracy. Looking forward, it has the prospect of wide application in the field of AI text detection.

研究の動機と目的

• 様々なアプリケーションでAI生成テキストを正確に検出する必要性を動機づける。
• 分類のためにトランスフォーマー型ディープラーニングを活用した検出モデルを開発する。
• 検出性能を示すために検証セットとテストセットでモデルを評価する。

提案手法

• Unicode正規化と正規表現ベースのクリーニングでテキストを前処理し、続いて小文字化と句読点処理を行う。
• テキスト分類または系列ラベリングタスクのため、LSTM、Transformer、CNN層を組み合わせる。
• モデルを訓練・検証し、段階ごとの損失と精度の改善を報告する（損失0.127から0.005へ、精度94.96から99.8へ）。
• 混同行列を用いてテストセットで評価し、精度、適合率、再現率、F1スコアを報告する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー型のディープラーニングモデルは、異なるデータセット間でAI生成テキストを効果的に検出できるか？
• RQ2 前処理手順はLLM生成コンテンツの検出性能を最大化するのか？
• RQ3 組み合わせアーキテクチャ（LSTM + Transformer + CNN）は、単一アーキテクチャの検出器と比較して精度と信頼性の面でどうか？

主な発見

• 検証精度は94.96から99.8へ、対応する損失は0.127から0.005へと増減した。
• テストセットでは、AI生成テキストの予測精度が99%だった。
• テストセットでの適合率は0.99、再現率は1、F1スコアは0.99だった。
• 結果はAI生成テキストに対する非常に高い分類精度と強力な検出能力を示している。