[論文レビュー] Evaluating AIGC Detectors on Code Content

Jian Wang, Shangqing Liu+2 more|arXiv (Cornell University)|Apr 11, 2023

Software Engineering Research被引用数 16

ひとこと要約

本論文は、ChatGPT によって生成されたコード関連コンテンツに対して、6つのAIGC検出器（オープンソース3つ、商用3つ）を実証的に評価し、自然言語コンテンツと比較する。ヒューマン・スタディとデータセット構築を含む。

ABSTRACT

Artificial Intelligence Generated Content (AIGC) has garnered considerable attention for its impressive performance, with ChatGPT emerging as a leading AIGC model that produces high-quality responses across various applications, including software development and maintenance. Despite its potential, the misuse of ChatGPT poses significant concerns, especially in education and safetycritical domains. Numerous AIGC detectors have been developed and evaluated on natural language data. However, their performance on code-related content generated by ChatGPT remains unexplored. To fill this gap, in this paper, we present the first empirical study on evaluating existing AIGC detectors in the software domain. We created a comprehensive dataset including 492.5K samples comprising code-related content produced by ChatGPT, encompassing popular software activities like Q&A (115K), code summarization (126K), and code generation (226.5K). We evaluated six AIGC detectors, including three commercial and three open-source solutions, assessing their performance on this dataset. Additionally, we conducted a human study to understand human detection capabilities and compare them with the existing AIGC detectors. Our results indicate that AIGC detectors demonstrate lower performance on code-related data compared to natural language data. Fine-tuning can enhance detector performance, especially for content within the same domain; but generalization remains a challenge. The human evaluation reveals that detection by humans is quite challenging.

研究の動機と目的

• 既存の AIGC 検出器が ChatGPT によって生成されたコード関連コンテンツに対してどれくらい有効かを評価する。
• コードコンテンツと自然言語コンテンツにおける検出器の性能を比較する。
• 微調整が検出器の性能と一般化能力を向上させるかを探る。
• 小さなコンテンツ変異に対する検出器の頑健性を評価する。
• 検出器と比較して人間がAI生成コンテンツを検出する能力を比較する。

提案手法

• 二つの大規模データセットを構築する。CCD（コード関連コンテンツ）と NLCD（自然言語コンテンツ）で、人間とChatGPT生成のペアを作成する。
• 六つの検出器（オープンソース三つ：GPT2-Detector、DetectGPT、RoBERTa-QA；商用三つ：GPTZero、Writer、AITextClassifier）を CCD-Test および NLCD-Test で評価する。
• NLCD-Train および CCD-Train を用いて RoBERTa-QA をドメイン関連サブセットで微調整し、改善を評価する。
• コードとテキストの変異を適用して頑健性をテストし、検出器を再評価する。
• 経験豊富な開発者50名を対象にオンラインのヒューマン・スタディを実施し、人間の検出性能を評価する。
• 主指標として AUC を使用し、FPR および FNR を補助指標とする。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 既存の検出器は、ChatGPT生成のコードおよび自然言語コンテンツをどれだけ効果的に検出できるか？
• RQ2 RQ2: 微調整はコード関連データに対する検出器の性能を改善できるか？
• RQ3 RQ3: ChatGPT生成データがわずかに変更された場合、検出器はどれくらい頑健か？
• RQ4 RQ4: 人間は検出器と比較して、ChatGPT生成コンテンツをどの程度うまく区別できるか？

主な発見

• 検出器はコード関連データより自然言語データの方で性能が低くなる傾向を示す。
• 微調整により検出器の性能は向上するが、ドメインを越えた一般化は依然として限定的。
• 検出器間で、AUC、FPR、FNR のトレードオフがデータセットや言語間で異なる。
• 頑健性テストでは、変異により検出器の性能が低下することが多く、コンテンツの種類によって一部の検出器が他より優れている。
• 人間もChatGPT生成コードコンテンツを検出するのが難しく、検出器の難しさを反映している。