[論文レビュー] AuthentiGPT: Detecting Machine-Generated Text via Black-Box Language Models Denoising

Zhen Guo, Shangdi Yu|arXiv (Cornell University)|Nov 13, 2023

Topic Modeling被引用数 4

ひとこと要約

AuthentiGPTは、入力テキストに合成ノイズを加えることで、ブラックボックス言語モデルを用いてノイズ除去を行い、元のテキストとノイズ除去後のテキストの意味的類似度を比較することで、機械生成テキストを検出する新規で効率的な分類器である。本手法は、訓練データ、ウォーターマーキング、対数尤度計算を一切必要とせず、バイオメディカルQAデータセットで0.918のAUROCスコアを達成し、ゼロショットのGPT-3.5、GPT-4、GPTZero、Originality.AIを上回る性能を発揮する。

ABSTRACT

Large language models (LLMs) have opened up enormous opportunities while simultaneously posing ethical dilemmas. One of the major concerns is their ability to create text that closely mimics human writing, which can lead to potential misuse, such as academic misconduct, disinformation, and fraud. To address this problem, we present AuthentiGPT, an efficient classifier that distinguishes between machine-generated and human-written texts. Under the assumption that human-written text resides outside the distribution of machine-generated text, AuthentiGPT leverages a black-box LLM to denoise input text with artificially added noise, and then semantically compares the denoised text with the original to determine if the content is machine-generated. With only one trainable parameter, AuthentiGPT eliminates the need for a large training dataset, watermarking the LLM's output, or computing the log-likelihood. Importantly, the detection capability of AuthentiGPT can be easily adapted to any generative language model. With a 0.918 AUROC score on a domain-specific dataset, AuthentiGPT demonstrates its effectiveness over other commercial algorithms, highlighting its potential for detecting machine-generated text in academic settings.

研究の動機と目的

• 人間の文章に類似した機械生成テキストの検出という、学術的および倫理的文脈における増大する課題に対処すること。
• 大規模なラベル付きデータセット、ウォーターマーキング、対数尤度計算に依存しない検出手法を開発すること。
• 任意の生成言語モデルに簡単に適用可能な軽量で柔軟な分類器を構築すること。
• 微細なスタイル的差異が重要な分野特異的設定（例：バイオメディカルQA）における検出精度を向上させること。

提案手法

• AuthentiGPTは、制御されたマスキング比を用いて、入力テキストに合成ノイズ（トークンマスキング）を導入し、ノイズ除去タスクを生成する。
• GPT-3.5-turboなどのブラックボックス言語モデルを用いて、損傷を加えた入力をノイズ除去し、意味的再構築を生成する。
• 元のテキストとノイズ除去済みテキストの間のコサイン類似度を計算し、意味的乖離度を測定する。
• 類似度スコアをクラスタリングするためにガウス・ミックスチャネル・モデル（GMM）を用い、機械生成テキストと人間生成テキストを分離するためのトレーニング可能なパラメータはλのみである。
• 本手法は、人間が書いたテキストが機械生成テキストの分布から外れるという仮定に基づいており、ノイズ下で本質的に予測が困難になる。
• 分類器は20例の小さなデータセットでのみトレーニングされるため、データ効率が高く、新しいモデルに容易に適応可能である。

Figure 1: The AUROC scores of AuthentiGPT using different training samples and masking ratios. The x-axis has the number of averaging samples $\beta$ . Each plot shows the scores using different masking ratios $\alpha$ .

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス言語モデルを用いて、人間と機械生成テキストの分布的差を露呈させるようなノイズ除去タスクを実施できるか？
• RQ2 元のテキストとノイズ除去済みテキストの意味的類似度は、機械生成テキストと人間生成テキストを識別するための信頼できるシグナルとして機能するか？
• RQ3 トレーニング可能なパラメータが1つだけの軽量分類器は、大規模なトレーニングデータを必要とせずに高い検出性能を達成できるか？
• RQ4 AuthentiGPTは、ゼロショットLLMやGPTZero、Originality.AIといった商用検出ツールと比較して、多様なデータセットにおける機械生成テキスト検出において優れた性能を示すか？

主な発見

• AuthentiGPTは、統合済みのPubMedQAとGPT生成QAデータセットでAUROCスコア0.918を達成し、ゼロショットのGPT-3.5（0.721）とGPT-4（0.577）を上回る。
• GPTZero（AUROC 0.797）とOriginality.AI（AUROC 0.906）をも上回り、テストされたデータセットで最先端の性能を示した。
• 本手法は異なるデータタイプにおいて一貫した性能を示し、特に新しいQA生成タスクにおける機械生成コンテンツの検出において優れた強みを示した。
• マスキング比に敏感であり、最適な結果はα = 0.08で得られたが、平均化サンプル数（β）を増やすことで統計的信頼性が向上した。
• GPT-4の再編集（リライト）の検出には限界があり、再構成されたコンテンツにおけるスタイル的手がかりの保持に課題があることが示唆された。
• 誤検出（ファルス・ポジティブ）は依然として懸念事項であり、モデル出力に類似した人間生成テキストが存在する場合に顕著で、さらなる洗練が求められる。

Figure 2: The figure on the left is the histogram plots for the cosine similarity of the test datasets before the Box-Cox transformation. The figure on the right is the histogram plots for the cosine similarity of the test datasets after the Box-Cox transformation.