[論文レビュー] Fooling MOSS Detection with Pretrained Language Models

Stella Biderman, Edward Raff|arXiv (Cornell University)|Jan 19, 2022

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

この論文は、GPT-J、大規模言語モデルが、微調整や例示入力なしで、広く使われている捏造検出ツールであるMOSSの検出を回避できることが示されている。生成されたコードは構造的に多様で、MOSSの類似度スコアにおいて人間が書いたコードと区別がつかない。これは、現在の類似度分析に基づく捏造防止システムにおける深刻な脆弱性を露呈している。

ABSTRACT

As artificial intelligence (AI) technologies become increasingly powerful and prominent in society, their misuse is a growing concern. In educational settings, AI technologies could be used by students to cheat on assignments and exams. In this paper we explore whether transformers can be used to solve introductory level programming assignments while bypassing commonly used AI tools to detect similarities between pieces of software. We find that a student using GPT-J [Wang and Komatsuzaki, 2021] can complete introductory level programming assignments without triggering suspicion from MOSS [Aiken, 2000], a widely used software similarity and plagiarism detection tool. This holds despite the fact that GPT-J was not trained on the problems in question and is not provided with any examples to work from. We further find that the code written by GPT-J is diverse in structure, lacking any particular tells that future plagiarism detection techniques may use to try to identify algorithmically generated code. We conclude with a discussion of the ethical and educational implications of large language models and directions for future research.

研究の動機と目的

• 大規模言語モデルが、標準的な捏造検出ツールであるMOSSの検出を回避できるかどうかを調査すること。
• GPT-Jを用いて、微調整や類似例なしに、序盤のプログラミング課題を完了できるかどうかを評価すること。
• AIが生成したコードの構造的多様性と検出可能性を、人間が書いたコードと比較して評価すること。
• このような能力が、学術的誠実性、カリキュラム設計、および将来の検出システムに与える影響を検討すること。
• 教育現場におけるAI生成コンテンツが引き起こす倫理的および実務的課題を検討すること。

提案手法

• 研究では、公開済みの指令チューニング済み言語モデルであるGPT-Jを用い、公開データセットに掲載された序盤のプログラミング課題のコード解決策を生成した。
• 微調整や例示なしにゼロショットプロンプティングにより解決策を生成した。
• MOSSを用いて、GPT-Jが生成したコードと元の人の書いた解決策との類似度スコアを計算した。
• モデルの出力について、構造的多様性、文法的変化、既知の人間の書いたパターンとの類似性を分析した。
• MOSSスコアの観点から、元の解決策、人間による捏造版（レベルN）、およびAI生成コードの比較を行った。
• 人間による編集の必要性と、さまざまなプロンプト条件下での検出の頑健性を評価した。

Figure 1 . A breakdown of MOSS scores for completions of exercises from Karnalim et al . ( 2019 ) by how they were generated. “Original” denotes the original solutions, “LN” denotes Level N plagiarism, “non” denotes non-plagiarisms, and “AI” denotes solutions written by GPT-J.

実験結果

リサーチクエスチョン

• RQ1 GPT-Jは、微調整や例示なしに、広く使われている捏造検出ツールであるMOSSの検出を回避できるか？
• RQ2 GPT-Jが生成したコードの構造的多様性は、人間が書いたコードと比べてどうか？また、検出性を低下させるか？
• RQ3 AI生成コードは、類似度ベースの検出ツール（例：MOSS）を、教育現場でどの程度回避できるか？
• RQ4 このような回避能力が、学術的誠実性およびコンピュータサイエンス教育におけるカリキュラム設計に与える影響は何か？
• RQ5 構造的多様性があるにもかかわらず、アルゴリズム的に生成されたコードを同定できるように、将来の検出システムはどのように再設計すべきか？

主な発見

• GPT-Jは、微調整や例示なしに、MOSSによる類似度アラートが発動しなかった、序盤のプログラミング課題の解決策を生成した。
• モデルは一貫したパターンや「兆候」のない、構造的に多様なコードを生成した。これは、将来の検出システムが悪用できるような特徴を備えていなかった。
• コースで満点が得られる解決策を生成するには、人間による編集が最小限で済んだ。これは、学術的不正行為としての高い実用性を示している。
• 結果から、MOSSに基づく検出ツールは、モデルが特定の課題データにトレーニングされていなくても、現代の言語モデルによる回避に対して脆弱であることが示された。
• 検査とトレーニングデータとの比較により、GPT-Jが生成したコードは記憶されたものではなく、真正の新規生成であることが確認された。
• これらの発見は、現在の捏造防止システムにおける深刻なギャップを浮き彫りにし、ウォーターマーキングや行動分析などの新たな検出戦略の必要性を示唆している。

(a) Isomap with $n=10$ neighbors