[論文レビュー] How Large Language Models are Transforming Machine-Paraphrased Plagiarism

Jan Philip Wahle, Terry Ruas+2 more|arXiv (Cornell University)|Oct 7, 2022

Topic Modeling参考文献 40被引用数 6

ひとこと要約

本研究は、大規模言語モデル（GPT-3およびT5）が、人間による検出および自動化された改ざん検出ツールを回避する人間らしい並び替え表現をどのように生成するかを調査する。GPT-3が生成する並び替え表現はあまりにリアルであるため、人間は53％の割合でそれをオリジナルと誤認する。また、高度な検出モデルですら困難な状況にあるが、GPT-3自身は自ら生成した並び替え表現を検出する際、66％のF1スコアを達成しており、学術的誠実性システムにとって深刻な課題を示している。

ABSTRACT

The recent success of large language models for text generation poses a severe threat to academic integrity, as plagiarists can generate realistic paraphrases indistinguishable from original work. However, the role of large autoregressive transformers in generating machine-paraphrased plagiarism and their detection is still developing in the literature. This work explores T5 and GPT-3 for machine-paraphrase generation on scientific articles from arXiv, student theses, and Wikipedia. We evaluate the detection performance of six automated solutions and one commercial plagiarism detection software and perform a human study with 105 participants regarding their detection performance and the quality of generated examples. Our results suggest that large models can rewrite text humans have difficulty identifying as machine-paraphrased (53% mean acc.). Human experts rate the quality of paraphrases generated by GPT-3 as high as original texts (clarity 4.0/5, fluency 4.2/5, coherence 3.8/5). The best-performing detection model (GPT-3) achieves a 66% F1-score in detecting paraphrases.

研究の動機と目的

• 大規模な自己回帰的言語モデル（GPT-3およびT5）が、人間のオリジナル表現と区別できないほど自然な並び替え表現をどれほど生成できるかを調査すること。
• 商業ソフトウェア（PlagScanなど）および機械学習モデルを含む自動化ツールの、機械による並び替え表現の検出性能を評価すること。
• 105名の参加者を対象とした大規模な研究を通じて、人間が機械生成並び替え表現を検出できる能力を評価すること。
• arXiv、Wikipedia、および学生の修士論文から得た機械による並び替え表現テキストの公開データセットを構築・公開し、今後の研究を支援すること。

提案手法

• 科学的論文、学生の修士論文、Wikipediaのエントリからのオリジナルテキストを対象に、微調整されたT5およびGPT-3モデルを用いて並び替え表現を生成した。
• モデルのサイズ、プロンプト戦略、選択基準を変更して、意味的整合性と語彙的多様性を確保するための並び替え例を生成した。
• 6つの自動化モデルと1つの商業ツール（PlagScan）を用いて検出性能を評価し、機械による並び替え表現を識別する際のF1スコアを比較した。
• 105名の参加者を対象に人間による研究を実施し、生成された並び替え表現の流暢さ、明確さ、一貫性を5段階スケールで評価した。
• 二値分類を用いて、モデルがオリジナルと並び替え表現を区別できるかを評価した。GPT-3が最も高い検出性能を示した。
• データセット、コード、結果をすべて公開し、今後の機械による並び替え表現の改ざん検出に関する研究を支援した。

実験結果

リサーチクエスチョン

• RQ1 GPT-3およびT5のような大規模言語モデルは、流暢さと一貫性の観点から、人間のオリジナル表現と区別できないほど自然な並び替え表現をどれほど生成できるか。
• RQ2 現在の自動化された改ざん検出ツール（PlagScanや機械学習モデルを含む）は、大規模言語モデルが生成した並び替え表現をどれほど効果的に特定できるか。
• RQ3 人間は機械による並び替え表現をどれくらいの割合で検出できるか。また、人間の判断は自動化検出システムと比較してどう異なるか。
• RQ4 同じ大規模言語モデル（例：GPT-3）を用いて、改ざん検出の生成と検出の両方を行うことができるか。また、他のモデルと比較してその性能はいかがであるか。
• RQ5 機械による並び替え表現を検出するのが難しい主な言語的・構造的特徴は何か。また、それらの特徴を活用して検出性能を向上させることは可能か。

主な発見

• GPT-3が生成した並び替え表現は、人間の専門家によって、明確さ（4.0／5）、流暢さ（4.2／5）、一貫性（3.8／5）が高く評価され、オリジナルテキストと同等の水準であった。
• 人間は53％の割合で機械による並び替え表現を検出できず、AIが生成した並び替え表現とオリジナル表現を区別するのが極めて困難であることが示された。
• 広く使用されている商業的改ざん検出ツールであるPlagScanは、大規模言語モデルが生成した並び替え表現を信頼性を持って検出できなかった。
• 最も高い性能を示した自動化検出モデルはGPT-3自身であり、自ら生成した並び替え出力を検出する際、66％のF1スコアを達成した。
• 絶対的な性能は低かったが、GPT-3およびT5は人間参加者を上回る性能を示し、モデル生成テキストに検出可能な統計的パターンが存在することを示唆した。
• 本研究で構築したarXiv、Wikipedia、および学生の修士論文からの並び替え表現テキストのデータセットは、今後の研究を支援するため公開された。