[论文解读] Fooling MOSS Detection with Pretrained Language Models

Stella Biderman, Edward Raff|arXiv (Cornell University)|Jan 19, 2022

Artificial Intelligence in Healthcare and Education被引用 8

一句话总结

本文展示了，GPT-J这一大型语言模型即使未经微调或示例输入，也能生成可逃避MOSS这一广泛使用的抄袭检测工具检测的入门级编程解决方案。生成的代码在结构上具有多样性，且在MOSS相似度评分中与人工编写的代码无异，揭示了当前基于代码相似性分析的反抄袭系统存在关键漏洞。

ABSTRACT

As artificial intelligence (AI) technologies become increasingly powerful and prominent in society, their misuse is a growing concern. In educational settings, AI technologies could be used by students to cheat on assignments and exams. In this paper we explore whether transformers can be used to solve introductory level programming assignments while bypassing commonly used AI tools to detect similarities between pieces of software. We find that a student using GPT-J [Wang and Komatsuzaki, 2021] can complete introductory level programming assignments without triggering suspicion from MOSS [Aiken, 2000], a widely used software similarity and plagiarism detection tool. This holds despite the fact that GPT-J was not trained on the problems in question and is not provided with any examples to work from. We further find that the code written by GPT-J is diverse in structure, lacking any particular tells that future plagiarism detection techniques may use to try to identify algorithmically generated code. We conclude with a discussion of the ethical and educational implications of large language models and directions for future research.

研究动机与目标

• 调查大型语言模型是否能够生成可逃避MOSS这一标准抄袭检测工具检测的编程解决方案。
• 评估使用GPT-J在不触发MOSS相似度警报的情况下完成入门级编程作业的可行性。
• 评估AI生成代码在结构多样性与可检测性方面与人工编写代码的对比表现。
• 探讨此类能力对学术诚信、课程设计以及未来检测系统的影响。
• 探索人工智能生成内容在教育环境中带来的伦理与实际挑战。

提出的方法

• 本研究使用公开可用的、经过指令微调的GPT-J语言模型，从已发表的数据集中生成入门级编程作业的代码解决方案。
• 通过零样本提示（zero-shot prompting）生成解决方案，未进行微调或示例演示。
• 使用MOSS计算GPT-J生成代码与原始人工编写代码之间的相似度评分。
• 分析模型输出的结构多样性、语法变化性，以及与已知人工编写模式的相似性。
• 比较原始解决方案、人工抄袭版本（Level N）与AI生成代码在MOSS评分上的表现。
• 评估人工编辑的必要性，以及在不同提示条件下检测系统的鲁棒性。

Figure 1 . A breakdown of MOSS scores for completions of exercises from Karnalim et al . ( 2019 ) by how they were generated. “Original” denotes the original solutions, “LN” denotes Level N plagiarism, “non” denotes non-plagiarisms, and “AI” denotes solutions written by GPT-J.

实验结果

研究问题

• RQ1 GPT-J是否能够在未经微调或示例输入的情况下，生成可逃避MOSS这一广泛使用的抄袭检测系统检测的编程解决方案？
• RQ2 GPT-J生成代码的结构多样性与人工编写代码相比如何？其多样性是否降低了可检测性？
• RQ3 在学术环境中，AI生成代码在多大程度上可以绕过基于相似性的检测工具（如MOSS）？
• RQ4 此类规避行为对学术诚信和计算机科学教育中的课程设计有何影响？
• RQ5 未来检测系统应如何重新设计，以在代码具有高度多样性的情况下仍能识别出算法生成的代码？

主要发现

• GPT-J成功生成了入门级编程作业的代码，其在MOSS检测中未触发任何相似度警报，即使与原始人工解决方案相比亦然。
• 该模型生成了结构多样的代码，未表现出一致的模式或可被未来检测系统利用的‘特征’。
• 仅需极少的人工编辑即可生成在课程中可获得满分的解决方案，表明其在学术不端行为中具有高度可用性。
• 结果表明，基于MOSS的检测工具极易受到现代语言模型的规避，即使这些模型未在特定作业数据上进行过训练。
• 通过检查与训练数据的对比，验证了GPT-J生成的代码并非记忆结果，而是真正意义上的全新生成。
• 研究结果凸显了当前反抄袭系统存在的关键漏洞，亟需引入新型检测策略，如水印技术或行为分析。

(a) Isomap with $n=10$ neighbors