[论文解读] Last Week with ChatGPT: A Weibo Study on Social Perspective Regarding ChatGPT for Education and Beyond

Yao Tian, Chengwei Tong+4 more|arXiv (Cornell University)|Jun 7, 2023

Artificial Intelligence in Healthcare and Education被引用 6

一句话总结

本研究通过微博数据，分析了中国社交媒体上关于ChatGPT和GPT-4的讨论，以考察公众情绪、GPT-4发布后态度的变化，以及在教育和人机交互方面的问题。研究发现，公众对AI的认知趋于谨慎但逐步积极，主要关注隐私、偏见、学术诚信和过度依赖等问题，据此提出六项基于证据的建议，以指导教育和社会中负责任的AI部署。

ABSTRACT

The application of AI-powered tools has piqued the interest of many fields, particularly in the academic community. This study uses ChatGPT, currently the most powerful and popular AI tool, as a representative example to analyze how the Chinese public perceives the potential of large language models (LLMs) for educational and general purposes. Although facing accessibility challenges, we found that the number of discussions on ChatGPT per month is 16 times that of Ernie Bot developed by Baidu, the most popular alternative product to ChatGPT in the mainland, making ChatGPT a more suitable subject for our analysis. The study also serves as the first effort to investigate the changes in public opinion as AI technologies become more advanced and intelligent. The analysis reveals that, upon first encounters with advanced AI that was not yet highly capable, some social media users believed that AI advancements would benefit education and society, while others feared that advanced AI, like ChatGPT, would make humans feel inferior and lead to problems such as cheating and a decline in moral principles. The majority of users remained neutral. Interestingly, with the rapid development and improvement of AI capabilities, public attitudes have tended to shift in a positive direction. We present a thorough analysis of the trending shift and a roadmap to ensure the ethical application of ChatGPT-like models in education and beyond.

研究动机与目标

• 了解中国社交媒体上公众对ChatGPT在教育领域及更广泛应用中的主流情绪。
• 调查GPT-4的发布如何影响公众对AI聊天机器人的认知和态度。
• 识别并分析公众在人机协作，特别是在教育领域，所关注的问题。
• 基于证据，提出可操作的建议，以指导类似ChatGPT的大型语言模型在教育和社会中的伦理化与负责任部署。

提出的方法

• 从中国最大的社交媒体平台微博爬取包含'ChatGPT'及相关关键词的微博帖子。
• 将帖子分为两大主题：AI在教育中的应用与人机交互，每个主题下设三个子场景。
• 通过情感分析和主题建模，评估公众认知并识别关键关切点。
• 追踪GPT-4发布前后情绪和话语的变化，以检测态度转变。
• 结合定性与定量分析，提取出隐私、偏见、学术诚信和过度依赖等重复出现的主题。
• 基于研究发现，提出六项针对性建议，以指导教育和公共互动中负责任的AI使用。

实验结果

研究问题

• RQ1 中国社交媒体平台上，公众对ChatGPT等革命性AI创新的主流情绪是什么？
• RQ2 更强大的AI产品GPT-4的发布，如何影响公众对这类应用的态度？
• RQ3 公众在人机协作与互动方面，尤其是教育领域，普遍关注哪些问题与担忧？

主要发现

• 在GPT-4发布之前，大多数中国微博用户对ChatGPT在教育中的应用持中立态度，负面情绪多于正面情绪。
• GPT-4的发布引发了公众认知向更积极方向的显著转变，但中立与谨慎仍是主流态度。
• 主要关切包括隐私侵犯、内容偏见、不准确性、对教育公平的损害以及对AI工具的过度依赖。
• 公众讨论反映出对伦理风险的日益关注，如作弊、原创性丧失和算法歧视。
• 由于对事实错误和抄袭的担忧，公众对AI生成内容的信任度明显偏低，尤其是在学术语境中。
• 尽管乐观情绪上升，但大多数用户对像ChatGPT这样的先进大型语言模型的长期社会影响仍持怀疑态度。