[論文レビュー] Detection of Fake Generated Scientific Abstracts

Panagiotis C. Theocharopoulos, Panagiotis Anagnostou+4 more|arXiv (Cornell University)|Apr 12, 2023

Artificial Intelligence in Healthcare and Education参考文献 22被引用数 4

ひとこと要約

本研究では、Word2Vec、BERT、LSTMおよびロジスティック回帰などの機械学習モデルを含む、さまざまな自然言語処理（NLP）技術の有効性を、GPT-3が生成した科学的要約と人間が書いた要約を区別する能力について評価している。最も優れた性能を示したモデルは、Word2Vecを用いたLSTMで、1,000件のテストサンプルのうちたった103件しか誤分類しなかった。これは、文脈的埋め込みとシーケンスモデリングのアプローチを用いることで、AIが生成した科学的要約を信頼性高く検出可能であることを示している。

ABSTRACT

The widespread adoption of Large Language Models and publicly available ChatGPT has marked a significant turning point in the integration of Artificial Intelligence into people's everyday lives. The academic community has taken notice of these technological advancements and has expressed concerns regarding the difficulty of discriminating between what is real and what is artificially generated. Thus, researchers have been working on developing effective systems to identify machine-generated text. In this study, we utilize the GPT-3 model to generate scientific paper abstracts through Artificial Intelligence and explore various text representation methods when combined with Machine Learning models with the aim of identifying machine-written text. We analyze the models' performance and address several research questions that rise during the analysis of the results. By conducting this research, we shed light on the capabilities and limitations of Artificial Intelligence generated text.

研究の動機と目的

• 複数のNLPおよび機械学習手法を用いて、GPT-3が生成した科学的要約の検出可能性を調査すること。
• さまざまなテキスト表現手法（Word2Vec、BERT、TF-IDF）を機械学習分類器と組み合わせた際の性能を評価すること。
• 誤分類された要約の言語的および構造的特徴を特定し、検出モデルの限界を理解すること。
• AIが生成した学術的テキストが研究における学術的誠実性および盗作問題に与える影響を検討すること。

提案手法

• 与えられたタイトルに基づいて、GPT-3言語モデルを用いて科学的要約を生成した。
• 複数のテキスト表現手法を用いた：TF-IDF、Word2Vec、BERT埋め込み。
• 生成された要約と人間が書いた要約を用いて、ロジスティック回帰、SVM、LSTM、BiLSTMなどの複数の機械学習モデルを訓練および評価した。
• LSTMによるシーケンスモデリングを用いて、要約内の長距離依存関係を捉え、文脈的単語表現としてWord2Vec埋め込みを活用した。
• 誤分類されたサンプルを調査するために、統計的分析および語彙頻度比較を実施した。
• 誤分類されたAI生成テキストおよび人間が書いたテキストのタイトルと要約を定性的に分析し、パターンを特定した。

Figure 1: Schematic overview of the study. Dataset Generation: From the CORD-19 data has been collected the titles and the abstracts of the academic literature. The titles of the selected work have been prompted to GPT-3 model, via its API for the AI-generated abstract based on its title (Left). Dat

実験結果

リサーチクエスチョン

• RQ1 入力タイトルの長さが、AI生成要約を正しく分類する能力に影響を与えるか？
• RQ2 TF-IDF、Word2Vec、BERTのうち、どのテキスト表現手法が、AI生成要約と人間が書いた要約を区別する際の分類精度を最も高めるか？
• RQ3 人間が書いたものと誤って分類されたAI生成要約の言語的特徴は何か？
• RQ4 人間が書いた要約とAIが生成した要約の間で、語彙頻度分布にどのような違いがあるか、特に誤分類されたサンプルにおいては？
• RQ5 合成データで訓練されたモデルは、より新しいまたは高度なAI生成テキストを検出するために一般化可能か？

主な発見

• Word2Vec埋め込みを用いたLSTMモデルが最も高い分類精度を示し、1,000件のテストサンプルのうちたった103件しか誤分類しなかった。
• 語彙の多様性が高く、分野固有の用語を多く含むAI生成要約は、人間が書いたものと誤って分類されやすかった。
• 語彙が単純で語彙の豊かさが低い人間が書いた要約は、AI生成のものと誤って分類される頻度が高かった。
• 語彙頻度分析の結果、誤分類されたAI生成要約には、一般的な語彙ではなく、あまり使われない分野固有の語彙（例：'influenza'、'treatment'）が多く含まれていた。
• 誤分類されたAI生成要約のタイトルは、平均よりもはるかにまれで特化した語彙を多く含んでおり、より洗練されたプロンプトが生成品質を向上させ、検出を回避するのを助ける可能性がある。
• 本研究では、現在のLLMが生成する科学的要約は高い正確性で検出可能であることが確認されたが、プロンプト工学の向上と語彙の洗練が進むにつれて、検出の難易度が高まることも明らかになった。

Figure 2: Most frequent word appearances in both the human-created texts (left) and the AI-generated texts (right).