[論文レビュー] Overview of AuTexTification at IberLEF 2023: Detection and Attribution of Machine-Generated Text in Multiple Domains

Areg Mikael Sarvazyan, José Ángel González+4 more|arXiv (Cornell University)|Sep 20, 2023

Text Readability and Simplification被引用数 7

ひとこと要約

本論文は、2023年IberLEFで開催された共有タスク「AuTexTification」を提示するもので、英語およびスペイン語の5つのドメインにおいて機械生成テキスト（MGT）の検出と帰属を目的としている。本研究では、人間とLLM生成テキストのマルチドメインデータセットを提供し、クロスドメイン一般化および6つのモデルへの詳細な帰属特定を評価する。主な貢献は、現実的で多様な条件下でのMGT検出および帰属のベンチマーク化にある。

ABSTRACT

This paper presents the overview of the AuTexTification shared task as part of the IberLEF 2023 Workshop in Iberian Languages Evaluation Forum, within the framework of the SEPLN 2023 conference. AuTexTification consists of two subtasks: for Subtask 1, participants had to determine whether a text is human-authored or has been generated by a large language model. For Subtask 2, participants had to attribute a machine-generated text to one of six different text generation models. Our AuTexTification 2023 dataset contains more than 160.000 texts across two languages (English and Spanish) and five domains (tweets, reviews, news, legal, and how-to articles). A total of 114 teams signed up to participate, of which 36 sent 175 runs, and 20 of them sent their working notes. In this overview, we present the AuTexTification dataset and task, the submitted participating systems, and the results.

研究の動機と目的

• 多様なドメイン、ライティングスタイル、言語における機械生成テキスト（MGT）検出器の一般化性能を評価すること。
• 6つの候補モデルの中から特定のLLMにMGTを帰属付けることの可能性を調査すること。
• 研究におけるMGT検出および帰属のため、公開可能なマルチドメイン・マルチリンガルの、人間およびLLM生成テキストのデータセットを提供すること。
• MGTのフォレンジック分析を可能にし、コンテンツモデレーションおよび規制準拠を支援することで、責任あるAIを推進すること。
• ドメイン内設定を超えた現実世界の展開状況を反映するMGT検出および帰属のベンチマークを確立すること。

提案手法

• 本タスクは2つのサブタスクを含む：二値分類（人間 vs. MGT）および多クラス帰属（6つのLLMのうちどれがテキストを生成したかを特定する）。
• マルチドメインデータセットは、既存の公開ソースから自動収集されたもので、英語およびスペイン語のツイート、レビュー、ハウツー記事、ニュース、法的文書をカバーしている。
• MGTは、3つのBLOOMモデル（1B7、3B、7B1）および3つのGPT-3モデルを用いて生成され、モデルのスケールおよびアーキテクチャの多様性を確保した。
• 訓練データには3つのドメインが含まれるが、テストデータはサブタスク1のクロスドメイン一般化を評価するために、2つの未知のドメインをカバーしている。
• サブタスク2では、訓練およびテストに5つのドメインをすべて使用して、詳細な帰属性能を評価する。
• 評価フレームワークはゼロショットおよびフェイワショット一般化をサポートし、ドメインおよびモデルごとの正確性、F1スコア、マクロF1スコアを指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 MGT検出器は、訓練に使われたドメインの一部を除いた未観測ドメインに対しても、英語およびスペイン語の両方で効果的に一般化できるか？
• RQ2 マルチドメイン環境下で、6つの異なるLLMのMGTを識別する能力はどの程度高いか？
• RQ3 ドメイン、言語、モデルスケールがMGTの検出可能性および帰属可能性に与える影響は何か？
• RQ4 MGT検出器の性能は、非公式（例：ツイート）と公式（例：法的文書）のライティングスタイルの違いによってどのように変化するか？
• RQ5 モデルのアーキテクチャやスケールが類似している場合、詳細な帰属はどの程度達成可能か？

主な発見

• AuTexTification共有タスクは、5つの多様なドメインにわたり、MGT検出および帰属の評価に成功し、クロスドメイン一般化における顕著な課題を示した。
• 検出器は未観測ドメインでの性能が低く、ドメインシフトが現実世界のMGT検出システムにとって重要な障壁のままであることを示した。
• 特定のLLMへの詳細な帰属は実現可能であり、アーキテクチャ的・スケール的特徴が顕著なモデルほど高い正確性を示した。
• ドメインごとの性能に顕著な差が認められ、法的文書やニュース記事などの公式ドメインでは、ツイートなどの非公式ドメインよりも高い検出正確性を示した。
• データセットは言語的分析において価値があり、人間生成テキストと機械生成テキストの間でスタイル、構文、語彙的パターンに体系的な差が存在することが明らかになった。
• 結果から、再トレーニングなしに新しいドメインやライティングスタイルに適応できる、強固で一般化可能な検出モデルの開発が不可欠であることが強調された。