[論文レビュー] Will ChatGPT get you caught? Rethinking of Plagiarism Detection

Mohammad Khalil, Erkan Er|arXiv (Cornell University)|Feb 8, 2023

Artificial Intelligence in Healthcare and Education被引用数 47

ひとこと要約

論文は50題のテーマでChatGPT生成のエッセイを2つの盗用検出ツールで検証し、高いオリジナリティと検出の限界を示し、ChatGPTは従来のツールよりも自分の出力を識別できる可能性があることを示す。

ABSTRACT

The rise of Artificial Intelligence (AI) technology and its impact on education has been a topic of growing concern in recent years. The new generation AI systems such as chatbots have become more accessible on the Internet and stronger in terms of capabilities. The use of chatbots, particularly ChatGPT, for generating academic essays at schools and colleges has sparked fears among scholars. This study aims to explore the originality of contents produced by one of the most popular AI chatbots, ChatGPT. To this end, two popular plagiarism detection tools were used to evaluate the originality of 50 essays generated by ChatGPT on various topics. Our results manifest that ChatGPT has a great potential to generate sophisticated text outputs without being well caught by the plagiarism check software. In other words, ChatGPT can create content on many topics with high originality as if they were written by someone. These findings align with the recent concerns about students using chatbots for an easy shortcut to success with minimal or no effort. Moreover, ChatGPT was asked to verify if the essays were generated by itself, as an additional measure of plagiarism check, and it showed superior performance compared to the traditional plagiarism-detection tools. The paper discusses the need for institutions to consider appropriate measures to mitigate potential plagiarism issues and advise on the ongoing debate surrounding the impact of AI technology on education. Further implications are discussed in the paper.

研究の動機と目的

• 教育現場におけるChatGPT生成エッセイのオリジナリティを評価する。
• AI生成コンテンツに対する人気の盗用検出ツールの有効性を評価する。
• ChatGPTが自分で生成した内容を自己検証できるかを検討し、それを従来の検出ツールと比較する。
• 教育におけるAI支援の盗用を緩和するための機関的対策を検討する。

提案手法

• ChatGPTを用いてさまざまなテーマで50のエッセイを生成する。
• 2つの人気盗用検出ツールを用いて出力のオリジナリティを評価する。
• 各エッセイが自分自身によって生成されたかをChatGPTに検証させ、その結果を検出器の出力と比較する。
• 教育と政策への含意を論じるために所見を分析する。

実験結果

リサーチクエスチョン

• RQ1 盗用検出ツールはChatGPTからのAI生成エッセイを信頼性高く識別できるか？
• RQ2 AI生成コンテンツに対する一般的な盗用検出ツールは、人間が書いた作品と比べてどれほど効果的か？
• RQ3 ChatGPTは自分でエッセイが生成されたかを正確に判断できるか、そしてこれが検出器の方法とどのように比較されるか？

主な発見

• ChatGPTは検出に用いられたツールによれば、多くのテーマについて高いオリジナリティのテキストを生成できる。
• 2つの人気盗用検出ツールはChatGPT生成コンテンツをフラグ付けするのに苦労する可能性がある。
• ChatGPTの自己検証の性能は従来の盗用検出ツールを上回ることがある。
• 研究成果は教育におけるAI支援のショートカットの容易さへの懸念を支持し、機関レベルの緩和策の必要性を強調する。
• 本論文は教育分野におけるAIに関する継続的な議論と政策検討を論じている。