[論文レビュー] Survey on Plagiarism Detection in Large Language Models: The Impact of ChatGPT and Gemini on Academic Integrity

Shushanta Pudasaini, Luis Miralles‐Pechuán+2 more|arXiv (Cornell University)|Jun 4, 2024

Academic integrity and plagiarism被引用数 9

ひとこと要約

この論文は、ChatGPTやGeminiのようなLLMが学術的な不正行為にどのように影響するかを概観し、AI生成コンテンツと盗用の検出手法を検討し、ギャップと将来の解決策について論じる。

ABSTRACT

The rise of Large Language Models (LLMs) such as ChatGPT and Gemini has posed new challenges for the academic community. With the help of these models, students can easily complete their assignments and exams, while educators struggle to detect AI-generated content. This has led to a surge in academic misconduct, as students present work generated by LLMs as their own, without putting in the effort required for learning. As AI tools become more advanced and produce increasingly human-like text, detecting such content becomes more challenging. This development has significantly impacted the academic world, where many educators are finding it difficult to adapt their assessment methods to this challenge. This research first demonstrates how LLMs have increased academic dishonesty, and then reviews state-of-the-art solutions for academic plagiarism in detail. A survey of datasets, algorithms, tools, and evasion strategies for plagiarism detection has been conducted, focusing on how LLMs and AI-generated content (AIGC) detection have affected this area. The survey aims to identify the gaps in existing solutions. Lastly, potential long-term solutions are presented to address the issue of academic plagiarism using LLMs based on AI tools and educational approaches in an ever-changing world.

研究の動機と目的

• LLMsが学術的な不正行為を増加させ、その盗用検出への影響を示す。
• AI生成コンテンツ検出の最新データセット、アルゴリズム、ツール、および回避戦略を調査する。
• 現在の検出器におけるギャップ、限界、評価上の課題を特定する。
• AI主導の盗用に対処する長期的な技術的・教育的解決策を検討する。

提案手法

• 盗用とAIGC検出に関する既存文献を検討する。
• AIGC検出に用いられるデータセット、検出アルゴリズム、ツールを整理する。
• 回避技術とそれらが検出器の信頼性に与える影響を検討する。
• ウォーターマーキング、ゼロショット、その他の検出手法を分析する。
• ギャップを強調し、潜在的なベンチマークと教育的解決策を提案する。

Figure 1: Timeline indicating the release date and parameter of different GPT models by OpenAI.

実験結果

リサーチクエスチョン

• RQ1 ChatGPTやGeminiのようなLLMが学術的不正行為と盗用検出にどのような影響を与えたか？
• RQ2 AI生成コンテンツ検出の主なデータセット、アルゴリズム、ツールは何で、それらはどの程度効果的か？
• RQ3 検出器を回避する回避戦略にはどんなものがあり、それらは現在の解決策にどのような影響を与えるか？
• RQ4 現在のAIGC/盗用検出アプローチにはどのようなギャップがあり、将来の方向性は何が提案されているか？
• RQ5 長期的にAI主導の盗用に対処できる教育的・技術的対策は何か？

主な発見

• LLMsは学術的不正を強化し、従来の盗用検出を複雑にしている。
• AIGC検出には多様なデータセット、アルゴリズム、ツールが存在し、継続する回避戦略が信頼性に挑戦している。
• ウォーターマーキング、ゼロショット、プロンプトベースの手法が核心的検出手法を形成し、それぞれ堅牢性と実用性にトレードオフがある。
• ベンチマークデータセットとドメイン多様性の顕著なギャップがあり、研究間の公正な比較を妨げている。
• AI生成盗用に対する総合的な対応として、教育的および政策志向の解決策がいくつか議論されている。

Figure 2: Diagram demonstrating how ChatGPT and paraphrasing tools can be used to complete assignments.