[论文解读] Creating Large Language Model Resistant Exams: Guidelines and Strategies

Simon kaare Larsen|arXiv (Cornell University)|Apr 18, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文提出了一套实用指南，通过利用现实情境、故意错误、非文本内容以及软技能评估，设计出对大型语言模型（LLM）具有抗性的考试。研究证明，通过战略性设计，考试可以在维护学术诚信的同时，保持与现代职业环境的相关性。

ABSTRACT

The proliferation of Large Language Models (LLMs), such as ChatGPT, has raised concerns about their potential impact on academic integrity, prompting the need for LLM-resistant exam designs. This article investigates the performance of LLMs on exams and their implications for assessment, focusing on ChatGPT's abilities and limitations. We propose guidelines for creating LLM-resistant exams, including content moderation, deliberate inaccuracies, real-world scenarios beyond the model's knowledge base, effective distractor options, evaluating soft skills, and incorporating non-textual information. The article also highlights the significance of adapting assessments to modern tools and promoting essential skills development in students. By adopting these strategies, educators can maintain academic integrity while ensuring that assessments accurately reflect contemporary professional settings and address the challenges and opportunities posed by artificial intelligence in education.

研究动机与目标

• 解决由于学生在评估中使用大型语言模型（如ChatGPT）而引发的学术诚信问题日益增长的担忧。
• 研究大型语言模型在回答考试问题方面的能力与局限性，特别聚焦于ChatGPT。
• 为教育工作者提供可操作的、基于证据的指南，以设计对LLM生成答案具有抗性的考试。
• 确保评估能够反映现实世界的专业能力，并促进学生关键技能的发展。
• 适应人工智能工具在教育中不断演变的格局，调整教育评估实践。

提出的方法

• 融入超越LLM训练数据范围的真实世界情境，降低其生成看似合理但错误答案的能力。
• 在考试问题中引入故意错误，以测试学生识别和纠正错误信息的能力，而这是LLM通常无法识别的技能。
• 使用LLM无法准确解读的非文本信息，如图表、示意图或图像，增加自动化作弊的难度。
• 设计需要评估软技能（如批判性思维、伦理推理和情境判断）的问题，这些领域是LLM表现较弱的方面。
• 在选择题中设置有效的干扰项，以挑战LLM的推理能力，降低其随机答对的可能性。
• 通过强调应用而非记忆来组织评估，优先安排需要个人反思或情境适应的任务。

实验结果

研究问题

• RQ1 像ChatGPT这样的大型语言模型在传统考试格式中的表现如何，其在哪些方面存在漏洞？
• RQ2 考试中哪些具体设计特征可以降低LLM生成答案作弊的成功率？
• RQ3 评估应如何重构，以优先体现LLM无法复制的人类技能？
• RQ4 教育工作者如何融入真实世界、情境特定的情境，以限制LLM的有效性？
• RQ5 非文本元素和故意错误在提升考试对LLM抗性方面发挥什么作用？

主要发现

• 像ChatGPT这样的LLM能够在标准考试问题上生成看似合理但错误的答案，尤其是在内容模糊或缺乏现实情境背景时。
• 在问题中加入故意错误，能有效暴露LLM无法识别和纠正错误信息的缺陷，从而降低其正确回答的成功率。
• 包含图表或示意图等非文本内容的考试，显著降低了基于LLM的作弊风险，因为LLM无法可靠地解读视觉数据。
• 强调软技能（如伦理判断和批判性思维）的评估对LLM生成答案的敏感度较低，因为这些能力需要人类水平的推理。
• 需要情境适应能力的真实世界情境化问题，由于LLM依赖训练数据而非生活经验，因此更难被其正确回答。
• 所提出的指南通过将评估重点从记忆转向应用、判断和情境理解，共同提升了考试的完整性。