[論文レビュー] Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks

Veniamin Veselovsky, Manoel Horta Ribeiro+1 more|arXiv (Cornell University)|Jun 13, 2023

Mobile Crowdsensing and Crowdsourcing被引用数 71

ひとこと要約

本論文は、MTurkのクラウドワーカーがテキストを生成する際にLLMsを使用する頻度を推定する検出方法を開発し、特定の要約タスクで要約の33–46%がLLM生成であったと確認した。

ABSTRACT

Large language models (LLMs) are remarkable data annotators. They can be used to generate high-fidelity supervised training data, as well as survey and experimental data. With the widespread adoption of LLMs, human gold--standard annotations are key to understanding the capabilities of LLMs and the validity of their results. However, crowdsourcing, an important, inexpensive way to obtain human annotations, may itself be impacted by LLMs, as crowd workers have financial incentives to use LLMs to increase their productivity and income. To investigate this concern, we conducted a case study on the prevalence of LLM usage by crowd workers. We reran an abstract summarization task from the literature on Amazon Mechanical Turk and, through a combination of keystroke detection and synthetic text classification, estimate that 33-46% of crowd workers used LLMs when completing the task. Although generalization to other, less LLM-friendly tasks is unclear, our results call for platforms, researchers, and crowd workers to find new ways to ensure that human data remain human, perhaps using the methodology proposed here as a stepping stone. Code/data: https://github.com/epfl-dlab/GPTurk

研究の動機と目的

• テキスト要約タスクにおけるクラウドワーカーのLLM使用の有病率を定量化する。
• 人間が書いた要約とLLM生成要約を区別する低コストのタスク特化検出器を開発する。
• 結果を裏付けるためにキーストロークデータとオーバーラップ分析を用いて検出器を検証する。
• クラウドソーシング文脈における人間生成データの信頼性への影響を評価する。

提案手法

• 対照学習を前提としたファインチューニングによりChatGPT生成要約と実要約を区別するe5-base分類器をファインチューニングする。
• MTurkタスクプロンプトから得られた実在人間要約と合成ChatGPT生成要約で学習する。
• 抽象レベルと要約レベルの2つのデータ分割設定で評価し、抽象と要約の一般化を検討する。
• 検出器を46件の新しい要約に適用してLLM使用を推定し、閾値バリアントごとの有病率を報告する。
• 事後のキーストロークベースの検証で分類器の信頼性と偽陽性率を評価する。

Figure 1: Illustration of our approach for quantifying the prevalence of LLM usage among crowd workers solving a text summarization task. First, we use truly human-written MTurk responses and synthetic LLM-written responses to train a task-specific synthetic-vs.-real classifier. Second, we use this

実験結果

リサーチクエスチョン

• RQ1 MTurk要約タスクを実施するクラウドワーカーのLLM使用の有病率はどれくらいか？
• RQ2 この設定でタスク特異的で低計算の検出器は合成と人間作成要約を信頼性をもって区別できるか？
• RQ3 キーストロークとオーバーラップ分析は検出器の合成 vs 人間テキストの分類を裏付けるか？

主な発見

• 合成対実 classifierは要約レベル分割で99%の精度と99%の macro-F1を達成。
• 同じ分類器は要約レベル分割で97%の精度と97%の macro-F1を達成し、良好な一般化を示す。
• logit閾値0（50%の確率）で、46%（21/46）の要約が合成と分類された；閾値を4（98%の確率）に上げると、33%（15/46）が合成と分類された。
• 閾値を跨いでもLLM生成要約の推定有病率は33%〜46%の間にとどまった。
• 事後分析ではほとんどの作業者がテキストを貼り付けたが、貼付頻度が高い人を分類器が異なるラベルにしたため、本物のLLM生成出力であることを示唆する。
• 元の要約との重複が少ないほど合成分類がLLM生成Contentの存在を支持する。

Figure 2: Depiction of the MTurk task studied in this paper, where crowd workers were asked to condense research abstracts from the New England Journal of Medicine into summaries about 100 words long.