[論文レビュー] Quantitative Analysis of AI-Generated Texts in Academic Research: A Study of AI Presence in Arxiv Submissions using AI Detection Tool

Arslan Akram|arXiv (Cornell University)|Feb 9, 2024

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本論文は物理学、数学、計算機科学の arXiv 提出物からデータセットを構築し、AI検出方法を評価して、検出器の精度を 98% と報告します。

ABSTRACT

Many people are interested in ChatGPT since it has become a prominent AIGC model that provides high-quality responses in various contexts, such as software development and maintenance. Misuse of ChatGPT might cause significant issues, particularly in public safety and education, despite its immense potential. The majority of researchers choose to publish their work on Arxiv. The effectiveness and originality of future work depend on the ability to detect AI components in such contributions. To address this need, this study will analyze a method that can see purposely manufactured content that academic organizations use to post on Arxiv. For this study, a dataset was created using physics, mathematics, and computer science articles. Using the newly built dataset, the following step is to put originality.ai through its paces. The statistical analysis shows that Originality.ai is very accurate, with a rate of 98%.

研究の動機と目的

• 学術投稿においてAI生成の要素を検出する必要性を動機づけ、独創性と信頼性を確保する。
• 物理学、数学、計算機科学にまたがるarXiv記事のデータセットを作成し、検出手法をテストする。
• 構築したデータセット上でAI検出アプローチの有効性を評価する。
• AI生成コンテンツを識別する検出ツールの精度と信頼性を評価する。

提案手法

• 物理学、数学、計算機科学のarXiv論文のデータセットを構築する。
• 新たに構築したAI検出手法をHTTP URLパイプラインを介してデータセットに適用する。
• 検出器の精度を評価するための統計分析を実施する。
• 結果からの精度指標と定性的観察を報告する。

実験結果

リサーチクエスチョン

• RQ1 提案されたAI検出手法は、arXiv提出物のAI生成コンテンツを信頼性高く識別できるか。
• RQ2 検出器は学問分野（物理学、数学、計算機科学）を横断してどのように性能を発揮するか。
• RQ3 構築したデータセット上で検出ツールの全体的な精度はどの程度か。
• RQ4 検出手法の限界と潜在的な誤差源は何か。

主な発見

• 本研究は物理学、数学、計算機科学の記事から抽出されたデータセットを使用しています。
• AI検出パイプラインはHTTP URLを通じてarXiv提出物上でテストされました。
• 統計分析は検出器がデータセット上で高い精度を達成していることを示しています。
• 方法の報告精度は98%です。
• 本論文には結果を示す6つの図と1つの表が含まれています。