[論文レビュー] OUTFOX: LLM-Generated Essay Detection Through In-Context Learning with Adversarially Generated Examples

Ryuto Koike, Masahiro Kaneko+1 more|arXiv (Cornell University)|Jul 21, 2023

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

OUTFOXは、文脈学習を用いて検出器と攻撃者を相互に学習させる、画期的な敵対的訓練フレームワークを提案する。このフレームワークにより、検出器は攻撃者によって生成されたテキストに対して、F1スコアで最大+41.3の向上を達成し、攻撃を受けないテキストでは最先端の96.9 F1スコアを達成する。一方、攻撃者は既存の検出器の性能を最大-57.0 F1スコアまで低下させ、ベースラインの言い換え手法を上回る性能を発揮する。

ABSTRACT

Large Language Models (LLMs) have achieved human-level fluency in text generation, making it difficult to distinguish between human-written and LLM-generated texts. This poses a growing risk of misuse of LLMs and demands the development of detectors to identify LLM-generated texts. However, existing detectors lack robustness against attacks: they degrade detection accuracy by simply paraphrasing LLM-generated texts. Furthermore, a malicious user might attempt to deliberately evade the detectors based on detection results, but this has not been assumed in previous studies. In this paper, we propose OUTFOX, a framework that improves the robustness of LLM-generated-text detectors by allowing both the detector and the attacker to consider each other's output. In this framework, the attacker uses the detector's prediction labels as examples for in-context learning and adversarially generates essays that are harder to detect, while the detector uses the adversarially generated essays as examples for in-context learning to learn to detect essays from a strong attacker. Experiments in the domain of student essays show that the proposed detector improves the detection performance on the attacker-generated texts by up to +41.3 points F1-score. Furthermore, the proposed detector shows a state-of-the-art detection performance: up to 96.9 points F1-score, beating existing detectors on non-attacked texts. Finally, the proposed attacker drastically degrades the performance of detectors by up to -57.0 points F1-score, massively outperforming the baseline paraphrasing method for evading detection.

研究の動機と目的

• 単純な攻撃（例：言い換え）に対して脆弱である既存のLLM生成テキスト検出器の欠陥を是正すること。
• 悪意あるユーザーが検出器のフィードバックを活用して検出を回避する、現実的な敵対的シナリオを模擬すること。
• 強い攻撃条件下でも検出性能を向上させるために、敵対的に生成されたテキストから学ぶ検出器を開発すること。
• 教育分野（学生エッセイの作成）という現実的な文脈において、提案フレームワークの有効性を評価すること。
• 今後のLLM生成テキスト検出分野の研究を促進するため、再現可能なデータセットとコードを公開すること。

提案手法

• 検出器は、人間が書いたテキストとLLM生成テキストを含むエッセイのトレーニングセットに対してラベルを予測する。
• 攻撃者は、これらの検出器の予測ラベルを文脈例として用い、検出が難しい敵対的エッセイを生成する。
• 検出器は、敵対的に生成されたエッセイを文脈例として用いて再トレーニングし、強力な攻撃者出力の検出性能を向上させる。
• 文脈学習は全工程で使用される：攻撃者は検出器のラベルをデモンストレーションとして活用し、検出器は敵対的例を少サンプルプロンプトとして利用する。
• フレームワークは、母国語話者の学生が作成した15,400組のエッセイトリオ（課題、人間が書いたもの、LLM生成）から構成されるカスタムデータセット上でトレーニングおよび評価される。
• 言語的類似度は、BERT埋め込みとコサイン類似度を用いて測定され、攻撃者によって生成されたエッセイと人間が書いたものとの類似度を分析する。

実験結果

リサーチクエスチョン

• RQ1 文脈学習を用いて敵対的に生成されたテキストでトレーニングされた検出器は、強力な攻撃者に対してより高い堅牢性を達成できるか？
• RQ2 検出器のトレーニング時に敵対的例を組み込むと、攻撃を受けない自然なLLM生成テキストでの性能が低下するか？
• RQ3 攻撃者によって生成されたエッセイの意味的類似度は、人間が書いたエッセイと攻撃を受けないLLM生成エッセイと比べてどうか？
• RQ4 提案された攻撃者が、ベースラインの言い換え手法に比べて検出回避においてどれほど優れているか？
• RQ5 文脈学習により、パラメータの更新なしにLLMがLLM生成テキストを検出可能になるか？

主な発見

• OUTFOX検出器は、敵対的例にさらされていない検出器と比較して、攻撃者によって生成されたテキストの検出F1スコアを最大+41.3ポイント向上させる。
• OUTFOX検出器は、攻撃を受けないLLM生成エッセイにおいて、最先端のF1スコア96.9を達成し、既存の検出器を上回る。
• 提案された攻撃者は、既存の検出器の性能を最大-57.0 F1スコアまで低下させ、ベースラインの言い換え攻撃を著しく上回る。
• 攻撃者によって生成されたエッセイは、攻撃を受けないLLM生成エッセイよりも人間が書いたエッセイに意味的に近いことが、コサイン類似度分布の右シフトによって示された。
• 人間が書いたエッセイの再現率（Recall）は98.8を維持しており、過剰検出がほとんどないことが示され、これは人間フィードバックチューニング済みLLMでトレーニングされたためと推測される。
• 言い換えに基づくDIPPER攻撃は、RoBERTa-largeのような一部のモデルでは検出性能を向上させることがあり、非特徴抽出型攻撃の限界を示している。