[论文解读] ChatGPT: The End of Online Exam Integrity?

Teo Sušnjak|arXiv (Cornell University)|Dec 19, 2022

Artificial Intelligence in Healthcare and Education被引用 357

一句话总结

本论文分析 ChatGPT 执行高层次认知任务的能力以及生成类似人类文本的能力，并讨论其对在线考试诚信及潜在缓解措施的影响。

ABSTRACT

This study evaluated the ability of ChatGPT, a recently developed artificial intelligence (AI) agent, to perform high-level cognitive tasks and produce text that is indistinguishable from human-generated text. This capacity raises concerns about the potential use of ChatGPT as a tool for academic misconduct in online exams. The study found that ChatGPT is capable of exhibiting critical thinking skills and generating highly realistic text with minimal input, making it a potential threat to the integrity of online exams, particularly in tertiary education settings where such exams are becoming more prevalent. Returning to invigilated and oral exams could form part of the solution, while using advanced proctoring techniques and AI-text output detectors may be effective in addressing this issue, they are not likely to be foolproof solutions. Further research is needed to fully understand the implications of large language models like ChatGPT and to devise strategies for combating the risk of cheating using these tools. It is crucial for educators and institutions to be aware of the possibility of ChatGPT being used for cheating and to investigate measures to address it in order to maintain the fairness and validity of online exams for all students.

研究动机与目标

• 评估 ChatGPT 生成和回答跨学科的高质量本科水平批判性思维问题的能力。
• 评估 ChatGPT 如何使用普遍智力标准对其自身回答进行批判性评估。
• 探讨高等教育在线考试诚信的影响并评估当前缓解策略。
• 提出未来研究与政策方向，以解决对评估公正性的风险。

提出的方法

• 创建一个 ChatGPT 账户并提示其为多学科生成困难的批判性思维问题。
• 让 ChatGPT 提供对其自身问题的详细答案，然后对这些答案进行批判性评估。
• 应用普遍智力标准（相关性、清晰度、准确性、精确性、深度、广度、逻辑、说服力、原创性）来评估回答。
• 分析教育、机器学习、历史和市场营销领域的回答，以说明能力和局限性。
• 讨论对在线考试的影响以及监考和 AI 检测工具作为缓解措施的有效性。

实验结果

研究问题

• RQ1 ChatGPT 能否为本科生生成具有挑战性的、学科特定的批判性思维问题？
• RQ2 ChatGPT 能否就其自身的问题生成连贯、结构良好的答案？
• RQ3 ChatGPT 能否对其自身回答进行批判性评估并提出建设性的改进建议？
• RQ4 ChatGPT 的能力对在线考试诚信及当前缓解策略有何影响？

主要发现

• ChatGPT 能为本科生生成学科特定、具有挑战性的批判性思维问题。
• ChatGPT 能为其自身的问题生成详细、连贯的 500 字答案。
• ChatGPT 能批判性评估其自身答案，列出优点、弱点及改进建议。
• 展示的能力对高等教育在线考试诚信构成潜在威胁。
• 当前缓解策略（监考考试、监督、AI 检测）可能并非对 AI 生成的作弊万无一失；需要进一步研究。