[論文レビュー] An Empirical Study of AI Generated Text Detection Tools

Arslan Akram|arXiv (Cornell University)|Sep 27, 2023

Artificial Intelligence in Healthcare and Education参考文献 24被引用数 19

ひとこと要約

本論文は、複数ドメインのデータセットにわたって六つのAI生成テキスト検出ツールを評価し、ChatGPT作成Materialの検出能力を評価する。

ABSTRACT

Since ChatGPT has emerged as a major AIGC model, providing high-quality responses across a wide range of applications (including software development and maintenance), it has attracted much interest from many individuals. ChatGPT has great promise, but there are serious problems that might arise from its misuse, especially in the realms of education and public safety. Several AIGC detectors are available, and they have all been tested on genuine text. However, more study is needed to see how effective they are for multi-domain ChatGPT material. This study aims to fill this need by creating a multi-domain dataset for testing the state-of-the-art APIs and tools for detecting artificially generated information used by universities and other research institutions. A large dataset consisting of articles, abstracts, stories, news, and product reviews was created for this study. The second step is to use the newly created dataset to put six tools through their paces. Six different artificial intelligence (AI) text identification systems, including "GPTkit," "GPTZero," "Originality," "Sapling," "Writer," and "Zylalab," have accuracy rates between 55.29 and 97.0%. Although all the tools fared well in the evaluations, originality was particularly effective across the board.

研究の動機と目的

• 真偽のテキストを超えた、多様なドメインのChatGPT素材に対して検出器を評価する必要性を動機づける。
• 検出器評価のための、記事・要旨・物語・ニュース・商品レビューなど、広範な多ドメインデータセットを作成する。
• 新しいデータセット上で最先端の検出ツールを評価し、クロスドメインの性能を測定する。

提案手法

• 記事、要旨、物語、ニュース、商品レビューからなる大規模で多ドメインのデータセットを構築する。
• GPTkit、GPTZero、Originality、Sapling、Writer、Zylalab の六つのAIテキスト検出ツールをテストする。
• データセット上で各ツールの精度を測定し、ツール間の性能レンジを報告する。

実験結果

リサーチクエスチョン

• RQ1 複数のドメインからの多様で本物でないコンテンツを評価した場合、現在のAI生成テキスト検出器はどれだけ効果的か？
• RQ2 主要な検出ツール間のクロスドメイン検出精度とばらつきはどのようなものか？
• RQ3 どの検出器が全体的な性能と領域横断の一貫性で最も優れているか？

主な発見

• 検出器の精度はツール間で55.29%から97.0%の範囲である。
• Originalityは評価対象ツールの中で特に高い性能を示す。
• 検出器はドメインとツールによって性能が異なることを示す。