[論文レビュー] ArguGPT: evaluating, understanding and identifying argumentative essays generated by GPT models

Yikang Liu, Ziyin Zhang+6 more|arXiv (Cornell University)|Apr 16, 2023

Topic Modeling被引用数 30

ひとこと要約

ArguGPTは、4,038 GPT生成のエッセイと4,115人間作成の説得エッセイからなる大規模で均衡の取れたコーパスを提示し、言語的差異を分析し、RoBERTaやGPTZeroを含むデテクタを評価する。分布内検出は強力だが、分布外一般化には制限がある。

ABSTRACT

AI generated content (AIGC) presents considerable challenge to educators around the world. Instructors need to be able to detect such text generated by large language models, either with the naked eye or with the help of some tools. There is also growing need to understand the lexical, syntactic and stylistic features of AIGC. To address these challenges in English language teaching, we first present ArguGPT, a balanced corpus of 4,038 argumentative essays generated by 7 GPT models in response to essay prompts from three sources: (1) in-class or homework exercises, (2) TOEFL and (3) GRE writing tasks. Machine-generated texts are paired with roughly equal number of human-written essays with three score levels matched in essay prompts. We then hire English instructors to distinguish machine essays from human ones. Results show that when first exposed to machine-generated essays, the instructors only have an accuracy of 61% in detecting them. But the number rises to 67% after one round of minimal self-training. Next, we perform linguistic analyses of these essays, which show that machines produce sentences with more complex syntactic structures while human essays tend to be lexically more complex. Finally, we test existing AIGC detectors and build our own detectors using SVMs and RoBERTa. Results suggest that a RoBERTa fine-tuned with the training set of ArguGPT achieves above 90% accuracy in both essay- and sentence-level classification. To the best of our knowledge, this is the first comprehensive analysis of argumentative essays produced by generative large language models. Machine-authored essays in ArguGPT and our models will be made publicly available at https://github.com/huhailinguist/ArguGPT

研究の動機と目的

• 教育者がGPTモデルによって書かれたAI生成説得エッセイを識別するためのベースラインを確立する。
• 機械生成と人間作成エッセイの言語的差異を、構文と語彙に焦点を当てて特徴づける。
• 既存のAI生成コンテンツ検出器を評価し、MLモデルを用いて堅牢な検出器を開発する。

提案手法

• WECCL、TOEFL11、GREからのプロンプトに回答する4,038の機械生成エッセイと4,115の人間作成エッセイのバランスの取れたArguGPTコーパスを組み立てる。
• 7つのGPTモデルを用いたプロンプト調整と後生成フィルタリングで、短く反復的または重複したテキストを除去し、機械エッセイを生成する。
• 均一性のためにテキストを前処理し、機械か人間かを区別する人間評価者の能力を評価する。
• 機械と人間エッセイを比較する31の統語論的および語彙的指標を分析する。
• インディストリビューションデータでデテクタ（SVMとRoBERTa）を訓練・評価し、アウトオブディストリビューションデータで一般化をテストする。
• 機械と人間のエッセイを用いたアウトオブディストリビューションデータセットを作成・評価して、デテクタの転移学習を評価する。

実験結果

リサーチクエスチョン

• RQ1 ESLの教員はGPT生成の説得エッセイを人間が書いたものと区別できますか？
• RQ2 構文と語彙において機械生成と人間作成のエッセイを区別する言語的特徴は何ですか？
• RQ3 機械学習分類器は機械生成と人間作成のエッセイを信頼性高く区別できますか、クロスモデル一般化を含め？

主な発見

• 教員はラウンド1で61.6%の精度、最小限の訓練後は67.7%で機械対人間のエッセイを正しく識別した。
• 言語的には、GPTエッセイはより複雑な構文を示すが、語彙的には人間エッセイより複雑さが劣る。
• ArguGPTを微調整したRoBERTaベースの検出器は、インディストリビューションデータのエッセイレベルで90%以上、文レベルで90%超の精度を達成（エッセイレベル99%、文レベル93%）。
• RoBERTaは未見モデルへ一般化する（例：claude-instant）、一方でGPTZeroのような市販の検出器はアウトオブディストリビューションデータへ一般化できない。
• ArguGPTとその検出器は公開されている（GitHubとHuggingFace spaces）。