[論文レビュー] TURINGBENCH: A Benchmark Environment for Turing Test in the Age of Neural Text Generation

Adaku Uchendu, Zeyu Ma+3 more|arXiv (Cornell University)|Sep 27, 2021

Topic Modeling被引用数 4

ひとこと要約

TuringBenchは、Turingテストおよび著者特定に関する文脈において機械生成テキストを評価するための包括的で初のベンチマーク環境を提供する。200K件のサンプルを含み、GPT-3、GPT-2、FAIRモデルを含む20種類のテキスト生成モデルをカバーし、Turingテストと著者特定の2つの主要タスク、およびオンラインランク付きリーダーボードを備えている。FAIR_wmt20とGPT-3が人間らしさが最も高く、最先端の検出モデルの中で最も低いF1スコア（最高のパフォーマンス）を達成している。

ABSTRACT

Recent progress in generative language models has enabled machines to generate astonishingly realistic texts. While there are many legitimate applications of such models, there is also a rising need to distinguish machine-generated texts from human-written ones (e.g., fake news detection). However, to our best knowledge, there is currently no benchmark environment with datasets and tasks to systematically study the so-called "Turing Test" problem for neural text generation methods. In this work, we present the TuringBench benchmark environment, which is comprised of (1) a dataset with 200K human- or machine-generated samples across 20 labels {Human, GPT-1, GPT-2_small, GPT-2_medium, GPT-2_large, GPT-2_xl, GPT-2_PyTorch, GPT-3, GROVER_base, GROVER_large, GROVER_mega, CTRL, XLM, XLNET_base, XLNET_large, FAIR_wmt19, FAIR_wmt20, TRANSFORMER_XL, PPLM_distil, PPLM_gpt2}, (2) two benchmark tasks -- i.e., Turing Test (TT) and Authorship Attribution (AA), and (3) a website with leaderboards. Our preliminary experimental results using TuringBench show that FAIR_wmt20 and GPT-3 are the current winners, among all language models tested, in generating the most human-like indistinguishable texts with the lowest F1 score by five state-of-the-art TT detection models. The TuringBench is available at: https://turingbench.ist.psu.edu/

研究の動機と目的

• ニューラルテキスト生成が人間の文章と機械生成の文章を区別するうえで体系的な評価が急務であるという課題に対処すること。
• 複数の言語モデルをカバーする多様で高品質なデータセットを備えた標準化されたベンチマーク環境を構築すること。
• Turingテスト（人間 vs. 機械生成の二値分類）と著者特定（特定のモデル由来の特定）の2つの主要タスクを通じて、AI生成コンテンツを検出する研究を可能にすること。
• 公開でスケーラブルなプラットフォームを提供し、リーダーボードと現実世界の政治的ニュースのプロンプトを用いて、強固な検出モデルの開発を支援すること。
• 現在の検出手法の限界を浮き彫りにするとともに、スタイルの収斂により、機械生成テキストと人間の文章を区別することが難しくなっていることの傾向を明らかにすること。

提案手法

• 19種類のニューラルテキスト生成モデルが、CNN やワシントン・ポストなどの人間のニュース記事に類似する記事を生成することで、20万件のニュース記事（1万件のタイトル、20ラベル）のデータセットを構築した。
• 各サンプルは、その出典（1：人間、19：機械モデル：GPT-3、GPT-2、GROVER、FAIR、PPLMなど）でラベル付けされた。
• 2つのベンチマークタスクを定義した：(1) Turingテスト—人間生成 vs. 機械生成テキストの二値分類；(2) 著者特定—使用された特定のモデルを同定する多クラス分類。
• 公開ウェブサイトがデータセット、リーダーボード、評価ツールを提供し、コミュニティ参加とモデル比較を促進する。
• 主成分分析（PCA）を用いたLIWC心理言語的特徴の可視化や統計的分析を通じて、人間と機械生成テキスト間のスタイル的類似性と相違を調査した。
• Turingテストにおける検出モデルのパフォーマンスを評価するためにF1スコアを用い、テキスト長およびモデルの複雑さに関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 どのニューラルテキスト生成モデルが、人間の文章と区別がつかないほど人間らしいテキストを生成するか？
• RQ2 最先端の検出モデルは、多様な言語モデルをカバーするTuringテストタスクにおいて、どの程度の性能を示すか？
• RQ3 従来の著者特定モデル（例：SVM、ランダムフォレスト）は、20種類の異なるニューラルテキスト生成モデルのスタイル的特徴に基づいて、それらを効果的に区別できるか？
• RQ4 テキスト長やモデルアーキテクチャが、Turingテストおよび著者特定タスクにおける検出パフォーマンスにどの程度影響を及ぼすか？
• RQ5 現在の検出モデルは、人間と機械生成テキストの間の微細なスタイル的差異をどの程度捉えられていないか？

主な発見

• FAIR_wmt20とGPT-3は、最も人間らしいテキストを生成し、Turingテストにおいて19のモデルの中で最も低いF1スコア（最高の検出性能）を達成しており、人間との区別がつかないという点で最高の類似性を示している。
• テキスト長（100〜400トークン）と検出性能の間に明確な相関は見られなかったが、RoBERTaを除き、長さ依存の性能変動が観察された。
• 従来の著者特定モデル（例：SVM、ランダムフォレスト）でさえ、20人の著者（モデル）間のスタイル的差異を完全に捉えられておらず、より洗練されたモデルの開発が求められている。
• 心理言語的特徴（LIWC）の分析から、人間の文章は広範なスタイル的範囲をカバーしている一方、機械生成テキストは特徴空間で密にクラスタリングされていることが判明し、モデル内のスタイル的多様性が限られていることが示唆された。
• 20人の著者間でスタイル的特徴の重なりが顕著であるため、機械生成テキストは人間の文章にますます近づいており、検出が難しくなっている。
• ブラックボックス検出器では不十分であり、今後の研究は神経的テキスト生成における微細で洗練されたパターンを特定できる、説明可能な検出フレームワークの開発に注力すべきである。