[论文解读] More than Model Documentation: Uncovering Teachers' Bespoke Information Needs for Informed Classroom Integration of ChatGPT

Mei Tan, Hariharan Subramonyam|arXiv (Cornell University)|Sep 25, 2023

Online Learning and AnalyticsComputer Science被引用 3

一句话总结

本研究识别出教师在将ChatGPT融入课堂教学时面临的关键信息缺口，揭示标准模型文档无法满足其教学与技术需求。作者提出一种交互式模型文档框架，弥合人工智能透明度与课堂教学实践之间的鸿沟，使教师能够有效评估并针对不同学习者应用ChatGPT的功能。

ABSTRACT

ChatGPT has entered classrooms, but not via the typical route of other educational technology, which includes comprehensive training, documentation, and vetting. Consequently, teachers are urgently tasked to assess its capabilities to determine potential effects on student learning and instruct their use of ChatGPT. However, it is unclear what support teachers have and need and whether existing documentation, such as model cards, provides adequate direction for educators in this new paradigm. By interviewing 22 middle- and high-school teachers, we connect the discourse on AI transparency and documentation with educational technology integration, highlighting the critical information needs of teachers. Our findings reveal that teachers confront significant information gaps, lacking clarity on exploring ChatGPT's capabilities for bespoke learning tasks and ensuring its fit with the needs of diverse learners. As a solution, we propose a framework for interactive model documentation that empowers teachers to navigate the interplay between pedagogical and technical knowledge.

研究动机与目标

• 调查K-12教师在评估和整合ChatGPT用于课堂教学时的具体信息需求。
• 考察现有AI文档（如模型卡片和教师指南）在支持教师实际决策方面的局限性。
• 识别技术性AI透明度与课堂教学实施实际教学情境之间的脱节。
• 开发一种框架，使教师能够有效应对技术能力与教育目标之间的相互作用。
• 解决因教师AI素养与支持获取不均而引发的伦理与公平性问题。

提出的方法

• 对22名经验丰富的中学和高中教师进行半结构化访谈，探究其在评估ChatGPT时的信息获取行为与评估策略。
• 分析教师测试ChatGPT功能的方法，包括其提示使用方式与预测输出的心理模型。
• 将观察到的信息缺口与现有AI文档中的具体缺陷对应，尤其关注领域相关性与可操作指导的缺失。
• 提出一种交互式模型文档框架，整合教学情境、技术功能与风险意识，以服务教育工作者。
• 评估该框架在支持教师评估公平性、偏见及与课程目标一致性方面的潜力。
• 采用定性主题分析法，识别提示设计、学生使用管理与伦理监督方面的重复性挑战。

实验结果

研究问题

• RQ1 教师在评估ChatGPT用于课堂教学时，除了标准模型文档提供的内容外，还存在哪些具体信息需求？
• RQ2 教师当前如何探索和测试ChatGPT的功能？其认知与技术局限性在多大程度上阻碍了有效整合？
• RQ3 现有AI透明度文档（如模型卡片和教师指南）在多大程度上未能支持教师做出知情的教学决策？
• RQ4 为使模型文档在生成式AI整合背景下有效服务教育工作者，其结构与设计特征应具备哪些要素？
• RQ5 如何重新构想AI文档，以满足多样化学习者的需求，并预防教育环境中潜在的不良后果？

主要发现

• 教师在探索ChatGPT功能以支持定制化学习任务时缺乏清晰方向，尤其在与特定课程目标和多样化学生需求对齐方面。
• 许多教师在提示工程方面存在错误的心理模型与狭隘目标，导致输出结果不一致或质量低下，从而限制了其对工具潜力的认知。
• 现有文档（如模型卡片和教师指南）未能提供可操作的、情境相关的指导，导致教师独自应对技术与伦理复杂性。
• 教师对学术诚信、偏见与学生安全存在显著担忧，但缺乏结构化支持以管理这些风险或设计有效的AI整合评估。
• 当前的模型文档为事后性且技术性，将责任推给实践者，却未提供工具以预见或减轻情境相关的危害。
• 迫切需要面向特定领域、具备交互性的文档，将技术功能与教学策略及伦理考量在真实课堂情境中有效连接。