[論文レビュー] Detecting AI Generated Text Based on NLP and Machine Learning Approaches

Nuzhat Noor Islam Prova|arXiv (Cornell University)|Apr 15, 2024

Digital and Cyber Forensics被引用数 6

ひとこと要約

本論文は ML 手法（XGBoost、SVM、BERT）を用いて AI 生成テキストと人間作成テキストを区別することを比較し、BERT が最高精度を達成することを明らかにしている。

ABSTRACT

Recent advances in natural language processing (NLP) may enable artificial intelligence (AI) models to generate writing that is identical to human written form in the future. This might have profound ethical, legal, and social repercussions. This study aims to address this problem by offering an accurate AI detector model that can differentiate between electronically produced text and human-written text. Our approach includes machine learning methods such as XGB Classifier, SVM, BERT architecture deep learning models. Furthermore, our results show that the BERT performs better than previous models in identifying information generated by AI from information provided by humans. Provide a comprehensive analysis of the current state of AI-generated text identification in our assessment of pertinent studies. Our testing yielded positive findings, showing that our strategy is successful, with the BERT emerging as the most probable answer. We analyze the research's societal implications, highlighting the possible advantages for various industries while addressing sustainability issues pertaining to morality and the environment. The XGB classifier and SVM give 0.84 and 0.81 accuracy in this article, respectively. The greatest accuracy in this research is provided by the BERT model, which provides 0.93% accuracy.

研究の動機と目的

• 倫理的・法的・社会的影響のため、AI生成テキストを検出する必要性を動機づける。
• 機械生成テキストと人間作成テキストを区別するためのNLPとMLアプローチを用いたAI検出器フレームワークを提案する。
• 検出タスクにおけるXGB、SVM、BERTの性能を比較する。
• AI生成テキスト検出の社会的・持続可能性に関する考慮事項を評価する。

提案手法

• 機械学習分類器を適用する：XGB Classifier、SVM、およびBERTベースの深層学習モデル。
• AI生成テキストと人間作成テキストを区別する検出器を訓練・評価する。
• 各モデルの精度指標を報告する。
• 検証モデルの中でBERTが最高の精度を示すことを強調する。

実験結果

リサーチクエスチョン

• RQ1 MLおよびNLPモデルはAI生成テキストを人間作成テキストと正確に区別できるか。
• RQ2 どのモデル（XGB、SVM、またはBERT）がAI生成テキスト検出で最も良い性能を示すか。
• RQ3 産業界と社会にとって効果的なAI生成テキスト検出器の意味するものは何か。

主な発見

• XGB Classifier は 0.84 の精度を達成した。
• SVM は 0.81 の精度を達成した。
• BERT は 0.93 の精度で最高の精度を達成した。
• BERT はAI生成情報を識別する上で従来のモデルを上回る。
• 本研究は現在のAI生成テキスト識別手法の包括的な評価を提供する。