[论文解读] "I think this is the most disruptive technology": Exploring Sentiments of ChatGPT Early Adopters using Twitter Data

Mubin Ul Haque, Isuru Dharmadasa+3 more|arXiv (Cornell University)|Dec 12, 2022

Topic Modeling被引用 210

一句话总结

一个对10,732条英文推文（2022年12月5–7日）的混合方法研究，分析早期ChatGPT使用者在Twitter上的议题与情感，显示在关键议题上总体为积极展望，但存在一些教育与社会关注。

ABSTRACT

Large language models have recently attracted significant attention due to their impressive performance on a variety of tasks. ChatGPT developed by OpenAI is one such implementation of a large, pre-trained language model that has gained immense popularity among early adopters, where certain users go to the extent of characterizing it as a disruptive technology in many domains. Understanding such early adopters' sentiments is important because it can provide insights into the potential success or failure of the technology, as well as its strengths and weaknesses. In this paper, we conduct a mixed-method study using 10,732 tweets from early ChatGPT users. We first use topic modelling to identify the main topics and then perform an in-depth qualitative sentiment analysis of each topic. Our results show that the majority of the early adopters have expressed overwhelmingly positive sentiments related to topics such as Disruptions to software development, Entertainment and exercising creativity. Only a limited percentage of users expressed concerns about issues such as the potential for misuse of ChatGPT, especially regarding topics such as Impact on educational aspects. We discuss these findings by providing specific examples for each topic and then detail implications related to addressing these concerns for both researchers and users.

研究动机与目标

• 了解ChatGPT早期采用者的特征（位置、职业、认证情况）
• 利用主题建模识别Twitter上关于ChatGPT的主要话题
• 评估早期采用者对每个已识别话题表达的情感
• 基于情感和话题提供含义及未来研究方向

提出的方法

• 从Twitter构建数据集（2022年12月5–7日），收集包含 'ChatGPT' 的英文推文
• 去重与预处理（小写化、噪声去除、停用词去除、词形还原）
• 使用LDA（MALLET）进行主题建模，以确定最优主题数量（N=9）
• 对9个主题数据集进行手动定性情感标注（每个主题100条推文，标签为-1/0/1）
• 对主题内模式进行开放式编码；五位作者达成共识并解决分歧

实验结果

研究问题

• RQ1 RQ1：ChatGPT早期采用者有哪些特征？
• RQ2 RQ2：Twitter上关于ChatGPT的主要话题有哪些？
• RQ3 RQ3：Twitter上关于ChatGPT话题表达了哪些情感？

主要发现

• 通过LDA识别出九个主题：软件开发的中断、娱乐与创造力的发挥、自然语言处理、教育方面的影响、聊天机器人智能、对商业发展的影响、对搜索引擎的影响、问答测试、未来的职业与机会
• 对软件开发的中断：81% 积极情感
• 娱乐与发挥创造力：92% 积极情感
• 自然语言处理：多数积极，部分关切；83%积极，14%负面，3%中性
• 聊天机器人智能：78%积极，20%负面，2%中性
• 教育方面的影响：52%积极，32%负面，16%中性
• 对商业发展的影响：75%积极，5%负面，20%中性
• 对搜索引擎的影响：54%积极，15%负面，31%中性
• 问答测试：38%积极，40%中性，22%负面
• 未来的职业与机会：一个广泛讨论技能、协作及行业趋势的话题