[论文解读] Contra generative AI detection in higher education assessments

Cesare Giulio Ardito|arXiv (Cornell University)|Dec 8, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文批判了高等教育中使用生成式AI检测工具的做法，认为这些工具无效、存在伦理问题，并且与现代教育现实脱节。文章主张以基于教学法的评估设计重构取代检测机制，从而在维护学术诚信与真实性的同时合理利用AI。

ABSTRACT

This paper presents a critical analysis of generative Artificial Intelligence (AI) detection tools in higher education assessments. The rapid advancement and widespread adoption of generative AI, particularly in education, necessitates a reevaluation of traditional academic integrity mechanisms. We explore the effectiveness, vulnerabilities, and ethical implications of AI detection tools in the context of preserving academic integrity. Our study synthesises insights from various case studies, newspaper articles, and student testimonies to scrutinise the practical and philosophical challenges associated with AI detection. We argue that the reliance on detection mechanisms is misaligned with the educational landscape, where AI plays an increasingly widespread role. This paper advocates for a strategic shift towards robust assessment methods and educational policies that embrace generative AI usage while ensuring academic integrity and authenticity in assessments.

研究动机与目标

• 评估当前生成式AI检测工具在高等教育环境中识别AI生成内容的有效性与局限性。
• 识别用于学术诚信监管的AI检测机制在伦理与实践层面的漏洞。
• 挑战将检测AI生成内容视为现代评估中可行或可取策略的假设。
• 提出从以检测为中心的政策转向将生成式AI负责任地整合进评估设计的模式。
• 倡导以真实性与学习为核心，而非监控与惩罚性检测的教育政策。

提出的方法

• 综合案例研究、媒体报道与学生证言，评估AI检测在现实中的影响。
• 分析依赖检测以维护学术诚信所引发的哲学与教学法上的矛盾。
• 审视AI检测系统在技术和伦理层面的缺陷，包括误报率与隐私问题。
• 提出将生成式AI作为合法学习工具而非威胁的替代性评估框架。
• 建议机构政策改革，优先考虑透明度、公平性与教育价值，而非监控与控制。
• 采用批判话语分析方法，解构学术语境中AI检测背后的假设。

实验结果

研究问题

• RQ1 当前生成式AI检测工具在高等教育评估中识别AI生成内容的有效性如何？
• RQ2 依赖AI检测维护学术诚信所引发的伦理与教学法后果是什么？
• RQ3 为何当前的检测范式与生成式AI在教育中日益增长的角色不相匹配？
• RQ4 何种替代性评估模式可在接纳生成式AI使用的同时维护学术诚信？
• RQ5 教育机构如何重新设计评估，以重视真实性与学习，而非监控与检测？

主要发现

• 高等教育中的AI检测工具误报率过高，导致学生面临不公平的学术处罚。
• 使用检测工具会破坏师生之间的信任，可能抑制学生的真实学术参与。
• 检测机制往往缺乏透明度，且基于对写作风格与原创性的错误假设。
• 本文发现，检测并非在生成式AI时代维护学术诚信的可持续或合乎伦理的解决方案。
• 通过将AI作为合法工具整合进评估设计，可实现更真实、更公平且更具教学法合理性的成果。
• 机构政策应优先考虑教育价值与学生学习，而非监控与惩罚性检测实践。