[論文レビュー] GenAI Detection Tools, Adversarial Techniques and Implications for Inclusivity in Higher Education

Mike Perkins, Jasper Roe+5 more|arXiv (Cornell University)|Mar 28, 2024

Big Data and Digital Economy被引用数 8

ひとこと要約

本論文は 改変された機械生成テキストに対して6つのGenAI検出ツールを評価し（n=805）、精度が低く、回避技術が用いられるとさらに低下することを発見し、学術的誠実性のためにこれらのツールの使用には慎重さを求める。

ABSTRACT

This study investigates the efficacy of six major Generative AI (GenAI) text detectors when confronted with machine-generated content that has been modified using techniques designed to evade detection by these tools (n=805). The results demonstrate that the detectors' already low accuracy rates (39.5%) show major reductions in accuracy (17.4%) when faced with manipulated content, with some techniques proving more effective than others in evading detection. The accuracy limitations and the potential for false accusations demonstrate that these tools cannot currently be recommended for determining whether violations of academic integrity have occurred, underscoring the challenges educators face in maintaining inclusive and fair assessment practices. However, they may have a role in supporting student learning and maintaining academic integrity when used in a non-punitive manner. These results underscore the need for a combined approach to addressing the challenges posed by GenAI in academia to promote the responsible and equitable use of these emerging technologies. The study concludes that the current limitations of AI text detectors require a critical approach for any possible implementation in HE and highlight possible alternatives to AI assessment strategies.

研究の動機と目的

• 機械生成コンテンツに対する6つの主要GenAIテキスト検出ツールの有効性を評価する。
• 検知を回避するための敵対的改変の影響を検討する。
• 高等教育における公正で包括的な評価実践への影響を評価する。
• 教育における検出ツールの適切な役割と非懲罰的な利用の可能性について議論する。

提案手法

• 機械生成コンテンツのコーパス（n=805）に対して6つのGenAI検出ツールをテストする。
• 検出精度を低下させるための回避/敵対的改変技術を適用する。
• コンテンツ改変前後の検出精度を定量的に測定し、変化を報告する。
• 検出ツールを回避するのに最も効果的な回避技術を分析する。
• 包括性を支援するための教育者の責任と潜在的戦略を検討する。

実験結果

リサーチクエスチョン

• RQ1 未改変の機械生成コンテンツに対して、6つの主要GenAI検出ツールの精度はどれくらいか。
• RQ2 敵対的改変は検出ツールの精度にどのように影響するか。
• RQ3 高等教育（HE）における公正で包括的な評価に対する検出ツールの性能の意味は何か。
• RQ4 不公平なペナルティを課さずに学術的誠実性を支援できるAI評価の代替案または補完的アプローチは何か？

主な発見

• 検出ツールの精度は初期段階で低い（39.5%）。
• 内容が敵対的に改変されると精度は著しく17.4%まで低下する。
• いくつかの回避技術は検出を回避する上で他より効果的であることが示される。
• 検出ツールを学術的誠実性の違反を判断する根拠として依存すべきではない。
• 検出ツールは非懲罰的に使用される場合、学生の学習支援と誠実性の維持に役割を果たす可能性がある。
• GenAI の課題に対処し、高等教育における責任ある公正な利用を促進するには、総合的で批判的なアプローチが必要である。