[论文解读] Is ChatGPT Massively Used by Students Nowadays? A Survey on the Use of Large Language Models such as ChatGPT in Educational Settings

Jérémie Sublime, Ilaria Renna|arXiv (Cornell University)|Dec 23, 2024

Artificial Intelligence in Healthcare and Education被引用 8

一句话总结

本文调查法国和意大利年龄在13–25岁的395名学生，量化LLMs（如ChatGPT）在教育中的使用程度，探讨人口统计模式，并讨论对AI素养与教学法的影响。

ABSTRACT

The rapid adoption of Generative AI (GenAI) based on Large Language Models (LLMs) such as ChatGPT has recently and profoundly impacted education, offering transformative opportunities while raising significant concerns. In this study we present the results of a survey that investigates how 395 students aged 13 to 25 years old in France and Italy integrate LLMs into their educational routines. Key findings include the widespread use of these tools across all age groups and disciplines, with older students and male students demonstrating higher usage frequencies, particularly in scientific contexts. The results also show gender disparities, raising concerns about an emerging AI literacy and technological gender gap. Additionally, while most students utilise LLMs constructively, the lack of systematic proofreading and critical evaluation among younger users suggests potential risks to cognitive skills development, including critical thinking and foundational knowledge. The survey results underscore the need for educational institutions to adapt their curricula to integrate AI tools effectively, promoting ethical use, critical thinking, and awareness of AI limitations and environmental costs. This paper provides actionable recommendations for fostering equitable and effective cohabitation of LLMs and education while addressing emerging challenges.

研究动机与目标

• 量化ChatGPT/LLMs在不同学生年龄层学术用途中的使用普遍程度。
• 识别按年龄、性别和学科领域的使用模式。
• 评估学生批判性评估LLM输出及对局限性的认知能力。
• 突出潜在的AI素养差距及对教育政策与课程设计的影响。

提出的方法

• 在法国和意大利于课堂时间（2024年5月至2024年10月）设计并管理一份受监督的 Google 表单调查。
• 包括人口统计、在 humanities 与 science 话题上使用 ChatGPT 的情况、设备使用情况及非学术用途等问题；确保符合GDPR并为未成年人获取家长同意。
• 使用描述性统计、卡方检验以分析关联、置信区间及残差来识别过度/不足代表的类别组合。
• 将回答视为受排除条件影响（如子研究中的非使用者）以确保鲁棒的子组分析。

Figure 1: ChatGPT use by age range based on answers to question item number 3.

实验结果

研究问题

• RQ1 在13–25岁学生中，LLMs在学术用途中的使用有多普遍？
• RQ2 按年龄组、性别或学科领域，LLMs 的使用是否存在系统性差异？
• RQ3 这些使用模式对教育和AI素养意味着哪些挑战与机遇？

主要发现

• 在最年轻的受访者（13–16岁）中，近70%在教育情境中至少使用过一次ChatGPT。
• 在所有年龄段中，ChatGPT使用普遍，71%对年龄相关使用差异的卡方统计量有贡献，p值小于10^-7。
• 研究样本为395名受访者，211名男性、174名女性、9名其他、1名性别缺失；344名报告使用过ChatGPT，51名从未使用过。
• 各年龄段的受访者参与度不同，分析指出较高的使用频率出现在较大年龄段的学生和男性，特别在科学领域。
• 作者讨论潜在的AI素养差距及由于无系统的校对与批判性评估而引发的认知技能发展担忧—尤其是在较年轻的用户中。
• 结果支持将AI工具整合到课程中的建议，强调伦理使用、批判性思维和对AI局限性的认知。

Figure 2: ChatGPT use frequency by age range based on answers to question items 4.1 and 5.1, excluding non-users.