[论文解读] Exploring User Perspectives on ChatGPT: Applications, Perceptions, and Implications for AI-Integrated Education

Reza Hadi Mogavi, Chao Deng+10 more|arXiv (Cornell University)|May 22, 2023

Artificial Intelligence in Healthcare and Education被引用 62

一句话总结

本研究通过对来自 Twitter、Reddit、YouTube、LinkedIn 的 6,000 条社交媒体文本进行定性内容分析，分析早期采用者在教育中对 ChatGPT 的体验与观点，以绘制教育应用与认知的地图。

ABSTRACT

To foster the development of pedagogically potent and ethically sound AI-integrated learning landscapes, it is pivotal to critically explore the perceptions and experiences of the users immersed in these contexts. In this study, we perform a thorough qualitative content analysis across four key social media platforms. Our goal is to understand the user experience (UX) and views of early adopters of ChatGPT across different educational sectors. The results of our research show that ChatGPT is most commonly used in the domains of higher education, K-12 education, and practical skills training. In social media dialogues, the topics most frequently associated with ChatGPT are productivity, efficiency, and ethics. Early adopters' attitudes towards ChatGPT are multifaceted. On one hand, some users view it as a transformative tool capable of amplifying student self-efficacy and learning motivation. On the other hand, there is a degree of apprehension among concerned users. They worry about a potential overdependence on the AI system, which they fear might encourage superficial learning habits and erode students' social and critical thinking skills. This dichotomy of opinions underscores the complexity of Human-AI Interaction in educational contexts. Our investigation adds depth to this ongoing discourse, providing crowd-sourced insights for educators and learners who are considering incorporating ChatGPT or similar generative AI tools into their pedagogical strategies.

研究动机与目标

• 理解早期采用者所报告的 ChatGPT 在教育中的主要应用。
• 探索 ChatGPT 对教育过程影响的初步认知（积极、消极、混合或中立）。
• 识别参与讨论的利益相关者群体（研究人员、教育工作者、学习者、家长、普通用户）。
• 提供众包洞见，帮助教育工作者和学习者在考虑 AI 集成教育时作出决策。

提出的方法

• 对来自 Twitter、Reddit、YouTube、LinkedIn 的公开社交媒体数据进行定性内容分析。
• 纳入标准要求帖子包含 ChatGPT 和教育相关关键词。
• 对高可见度帖子进行分层随机抽样，以反映多样的早期采用者角色。
• 使用 Braun 与 Clarke 的六阶段框架进行归纳编码以提取主题。
• 使用 Fleiss’ Kappa（κ = 0.87）评估编码者间一致性。
• 通过 API 访问、去标识化和机构批准进行道德数据收集。

实验结果

研究问题

• RQ1 RQ1：如早期采用者所报道，ChatGPT 在教育中的主要应用是什么？
• RQ2 RQ2：教育领域采用者对 ChatGPT 的初始看法是什么，以及他们如何评估其对教育过程的影响？

主要发现

• ChatGPT 在高等教育（24.18%）、K-12 教育（22.09%）以及实践技能学习（15.28%）中使用最频繁。
• 其他显著领域包括职业发展（9.61%）、创业教育（7.18%）、终身学习（4.64%）以及科普教育（3.25%）。
• 社交媒体上的讨论集中在生产力（73.19%）、效率（63.02%）和伦理（48.51%）。
• 早期采用者的态度是混合的：30.62% 积极，17.15% 消极，37.34% 混合，14.89% 中立。
• 本研究分析了约 ~150,000 字，覆盖 6,000 条文本样本，时间范围为 Dec 1, 2022 to Apr 22, 2023。