[論文レビュー] Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Abhimanyu Hans, Avi Schwarzschild+6 more|arXiv (Cornell University)|Jan 22, 2024

Natural Language Processing Techniques被引用数 16

ひとこと要約

Binocularsは、2つの密接に関連するLLMを対比させてBinocularsスコアを算出するゼロショット検出器を用い、トレーニングデータなしで機械生成テキストのモデル非依存検出を実現します。さまざまなドメインで最先端の性能を達成し、非常に低い偽陽性率でいくつかのベースラインを上回ります。

ABSTRACT

Detecting text generated by modern large language models is thought to be hard, as both LLMs and humans can exhibit a wide range of complex behaviors. However, we find that a score based on contrasting two closely related language models is highly accurate at separating human-generated and machine-generated text. Based on this mechanism, we propose a novel LLM detector that only requires simple calculations using a pair of pre-trained LLMs. The method, called Binoculars, achieves state-of-the-art accuracy without any training data. It is capable of spotting machine text from a range of modern LLMs without any model-specific modifications. We comprehensively evaluate Binoculars on a number of text sources and in varied situations. Over a wide range of document types, Binoculars detects over 90% of generated samples from ChatGPT (and other LLMs) at a false positive rate of 0.01%, despite not being trained on any ChatGPT data.

研究の動機と目的

• 機械生成テキストのゼロショット、モデル非依存検出器の動機づけと開発。
• 人間テキストと機械テキストを区別するために、2つの言語モデルを活用する訓練不要のシンプルなスコアを提案する。
• データセットと言語、モデルファミリー全体における頑健性を評価する。
• オープンソースおよび商用検出器とのドメイン外設定での比較を行う。

提案手法

• テキストに対するモデルのトークンの平均ネガティブ尤度としてlog-perplexityを定義する。
• 同じトークナイザーを共有する場合、同一テキストに対する2つのモデル間のlog-cross-perplexityを定義する。
• Binocularsスコア B = logPPL_M1(s) / logX-PPL_M1,M2 (s) を提案する。
• スコアリングの主要なモデル対として Falcon-7b (M1) と Falcon-7b-instruct (M2) を使用する。
• ニュース、創作、学生のエッセイ、CCNews、CNN、PubMed、Orca由来プロンプトを含む多様なデータセットでゼロショット検出を評価する。
• 固定偽陽性率での真陽性率を報告する（TPR at FPR = 0.01%）。

実験結果

リサーチクエスチョン

• RQ1 対象のLLMからの訓練データを用いずに、ゼロショット検出器は人間テキストと機械生成テキストを区別できるか。
• RQ2 密接に関連する2つのLLMを対比させることで、ドメインと言語を跨いだ頑健なモデル非依存検出器が得られるか。
• RQ3 既存の検出器と比較して、Binoculars はドメイン外および多言語設定でどの程度機能するか。
• RQ4 プロンプト、プロンプトの変更、ランダムテキストのシナリオにおける Binoculars の信頼性とエッジケース動作はどうなるか。
• RQ5 文書長が検出性能に与える影響は何か。

主な発見

• Binoculars はドメインを問わず高い精度を達成し、ChatGPT 出力について 0.01% の偽陽性率で 90%以上の真陽性率を検出する。
• この検出器は多様なデータセットやドメイン外設定でも有効であり、ゼロショット条件で Ghostbuster や GPTZero などのいくつかのベースラインを上回る。
• より多くの文脈/トークンで性能が向上し、Binoculars は LLaMA- および Falcon が生成したテキストにも一般化する。
• 多言語および低資源言語では、Binoculars は偽陽性を低く保つ一方で Recall が低下する。これはこれらの言語におけるモデルの制限と一致している。
• この方法は変更されたプロンプティング戦略や記憶化に対して頑健であるが、 memorized texts のようなエッジケースが発生することがある。
• このアプローチはモデル固有の訓練データを全く必要とせず、ChatGPT 固有の調整を必要としない。