[論文レビュー] CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning

Xiaoming Liu, Zhaohan Zhang+4 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、エンティティベースのグラフ表現を用いてテキストの整合性をモデル化することで、低リソース条件下での機械生成テキスト検出を向上させる対照的学習フレームワーク、CoCoを提案する。グラフ構造の言語的特徴と難易度に配慮した対照的損失を統合することで、GPT-3.5が生成したテキストが旧来的なモデルよりも検出が容易であるという驚きの発見を伴い、複数のデータセットで最先端の性能を達成した。

ABSTRACT

Machine-Generated Text (MGT) detection, a task that discriminates MGT from Human-Written Text (HWT), plays a crucial role in preventing misuse of text generative models, which excel in mimicking human writing style recently. Latest proposed detectors usually take coarse text sequences as input and fine-tune pretrained models with standard cross-entropy loss. However, these methods fail to consider the linguistic structure of texts. Moreover, they lack the ability to handle the low-resource problem which could often happen in practice considering the enormous amount of textual data online. In this paper, we present a coherence-based contrastive learning model named CoCo to detect the possible MGT under low-resource scenario. To exploit the linguistic feature, we encode coherence information in form of graph into text representation. To tackle the challenges of low data resource, we employ a contrastive learning framework and propose an improved contrastive loss for preventing performance degradation brought by simple samples. The experiment results on two public datasets and two self-constructed datasets prove our approach outperforms the state-of-art methods significantly. Also, we surprisingly find that MGTs originated from up-to-date language models could be easier to detect than these from previous models, in our experiments. And we propose some preliminary explanations for this counter-intuitive phenomena. All the codes and datasets are open-sourced.

研究の動機と目的

• 既存のMGT検出器が高レベルの言語的構造を無視し、低リソース条件下で困難を抱えるという限界を是正すること。
• センターイング理論に基づくエンティティ整合性グラフを用いて、文内および文間のエンティティの一貫性を捉えることで、テキストの整合性をモデル化すること。
• 難易度再重み付け損失関数を用いた対照的学習フレームワークを導入し、低リソース環境におけるモデルの汎化性能を向上させること。
• GPT-3.5のような最新で高度な言語モデルが、GROVER や GPT-2 よりも検出が容易なテキストを生成する理由を解明すること。
• グラフベースの特徴を活用した構造に配慮した説明可能な検出手法を提供し、人間が書いたテキストと機械生成テキストの区別を向上させること。

提案手法

• ノードが固有表現（名前付きエンティティ）を表し、文内および文間の共起関係をエッジで表すエンティティ整合性グラフを構築し、テキスト構造をモデル化する。
• 事前学習済み言語モデルを用いてテキストをエンコードし、エンティティ表現をグラフ構造に投影することで意味的整合性を捉える。
• 同じテキストの拡張（オーグメンテーション）をポジティブサンプル、異なるテキストをネガティブサンプルとしてペairedする対照的学習フレームワークを設計し、判別可能な表現を学習する。
• 難易度に配慮した対照的損失を提案し、ネガティブサンプルの難易度スコアに基づいて再重み付けすることで、簡単なネガティブサンプルの干渉を軽減し、困難なサンプルに焦点を当てる。
• グラフ convolutional network (GCN) を用いて、グラフ表現とシーケンスレベルの符号化を統合し、文脈表現を精緻化する。
• 対照的損失と交差エントロピー損失の組み合わせを用いて、エンドツーエンドでモデルを訓練し、データ不足下でも頑健な検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンティティベースのグラフを用いてテキストの整合性をモデル化することで、平坦なシーケンスモデリングに比べ、機械生成テキストの検出性能が向上するか？
• RQ2 難易度に配慮した損失設計を有する対照的学習は、低リソース条件下での検出性能をどのように向上させるか？
• RQ3 GPT-3.5が生成したテキストが、GPT-2 や GROVER よりも検出が容易であるのはなぜか？
• RQ4 クラスタリング係数、コア数、構造エントロピーといったグラフベースの構造的特徴は、人間が書いたテキストと機械生成テキストをどの程度区別できるか？
• RQ5 人間が書いたテキストが不足しているようなデータの不均衡状態は、検出器の性能にどのような影響を及ぼすか？また、CoCoはこれを緩和できるか？

主な発見

• CoCoは、GROVER および GPT-2 の2つの公開データセット、および自ら構築した2つのデータセットにおいて、最先端の手法を上回り、低リソース環境下でも顕著な検出精度の向上を示した。
• HWTの平均クラスタリング係数（0.2213）は、MGTの平均（0.1983）より11.6%高い。これは、人間が書いたテキストに強い局所的意味的結束があることを示している。
• HWTの平均コア数（5.772）は、MGTの平均（4.458）より高い。これは、人間が書いたテキストにより複雑な階層的構造があることを示しており、29.5%の差異がある。
• HWTの構造エントロピー（2.263）は、MGTの構造エントロピー（2.119）より6.80%高い。これは、人間が書いたテキストにより組織的かつ情報量の多いグローバルな意味的構造があることを示している。
• 驚くべきことに、GPT-3.5が生成したテキストは、GPT-2 や GROVER が生成したテキストよりも顕著に検出が容易である。これは、高品質であるにもかかわらず、新しいモデルが検出可能な統計的シグネチャを残している可能性を示唆している。
• 極端なデータ不均衡（例：人間が書いたテキストが10%）下では、ほとんどのモデル（CoCoを含む）の精度が50%未満に低下するが、CoCoはベースラインと比較して相対的に高い耐性を示した。