[論文レビュー] Beyond Black Box AI-Generated Plagiarism Detection: From Sentence to Document Level

Mujahid Quidwai, Chunhui Li+1 more|arXiv (Cornell University)|Jun 13, 2023

Topic Modeling被引用数 5

ひとこと要約

本論文は、文脈的埋め込みの文レベル比較と対照的損失関数を用いて、学生の回答とLLM生成回答との間の類似性を評価することで、学術的文書におけるAI生成テキストを検出する、透明性のあるNLPベースの手法を提案する。この手法は、人間のテキストとAI生成テキストを分類する際、94％の正確性を達成し、文レベルで説明可能で定量的な指標を提供することで、誤検出を低減し、従来のブラックボックス型ツールの欠点を解消する。

ABSTRACT

The increasing reliance on large language models (LLMs) in academic writing has led to a rise in plagiarism. Existing AI-generated text classifiers have limited accuracy and often produce false positives. We propose a novel approach using natural language processing (NLP) techniques, offering quantifiable metrics at both sentence and document levels for easier interpretation by human evaluators. Our method employs a multi-faceted approach, generating multiple paraphrased versions of a given question and inputting them into the LLM to generate answers. By using a contrastive loss function based on cosine similarity, we match generated sentences with those from the student's response. Our approach achieves up to 94% accuracy in classifying human and AI text, providing a robust and adaptable solution for plagiarism detection in academic settings. This method improves with LLM advancements, reducing the need for new model training or reconfiguration, and offers a more transparent way of evaluating and detecting AI-generated text.

研究の動機と目的

• 大規模言語モデル（LLMs）の登場に伴い、AI生成盗作の増加という学術的文脈における深刻な課題に対処すること。
• 高い誤検出率、ブラックボックス型意思決定、解釈不能性といった、既存のAIテキスト検出ツールの限界を克服すること。
• 人間の評価者が検出結果を解釈・検証できる、定量的で文レベルのメトリクスを提供する手法を開発すること。
• モデルの進化に伴って再トレーニングや再設定を必要とせず、進化するさまざまなLLMに対しても効果を発揮し続ける検出システムを構築すること。

提案手法

• 最先端の再表現モデルを用いて、与えられた入力質問の複数の再表現版を生成する。
• 各再表現質問を大規模言語モデル（LLM）に供給し、それに応じた回答を生成することで、多様な基準応答を構築する。
• 事前学習済みの埋め込みモデルを用いて、学生の回答とLLM生成回答の両方から文の埋め込みを抽出する。
• コサイン類似度に基づく対照的損失関数を適用し、学生回答とLLM回答の対応する文同士をマッチングさせ、細かく精密な比較を可能にする。
• モデルは文レベルでの類似度スコアを計算し、AI生成コンテンツの透明性があり解釈可能な検出を実現する。
• モデルの進化に伴って再トレーニングを必要とせず、GPT-3.5、BardAI、Character.AIなど多様なLLMに適応可能である。

実験結果

リサーチクエスチョン

• RQ1 学生の回答とLLM生成回答の間で、文レベルの埋め込みを比較することで、AI生成テキスト検出の正確性と透明性を向上させることができるか？
• RQ2 再表現されたプロンプトの使用が、入力の多様な変化にわたるAIテキスト検出の頑健性と一般化性能をどのように向上させるか？
• RQ3 コサイン類似度を用いた対照的学習は、人間の文章を模倣する微細なAI生成コンテンツの検出をどの程度向上させるか？
• RQ4 再トレーニングを必要とせず、さまざまなLLM（GPT-3.5や最新モデルを含む）に対して高い性能を維持できるか？
• RQ5 文レベルでの類似度スコアの解釈可能性は、誤検出をどのように低減させ、学術的盗作評価における人間の評価者をどのように支援するか？

主な発見

• 提案手法は、HC3データセットにおいて、人間生成回答とAI生成回答を識別する際、94％の正確性を達成した。
• 文の埋め込みのコサイン類似度から導出される文レベルの類似度スコアは、人間の評価者が利用可能な定量的で解釈可能なメトリクスを提供する。
• 誤検出を顕著に低減するために、曖昧なモデル予測に依存するのではなく、細かく粒度の細かい根拠に基づく比較を可能にした。
• GPT-3.5や最新のモデルを含む、さまざまなLLMに対して、再トレーニングや再設定を必要とせず、効果を維持する。
• 再表現されたプロンプトの使用により、基準応答の多様性が向上し、学生の文章の変化に強い検出性能が実現された。
• 従来の検出ツールのブラックボックス性を排除するため、根本的な文レベルの比較と類似度スコアを可視化することで、透明性を確保した。