[논문 리뷰] "I think this is the most disruptive technology": Exploring Sentiments of ChatGPT Early Adopters using Twitter Data

Mubin Ul Haque, Isuru Dharmadasa외 3명|arXiv (Cornell University)|2022. 12. 12.

Topic Modeling인용 수 210

한 줄 요약

혼합 방법 연구로 10,732개의 영어 트윗(2022년 12월 5–7일)을 분석하여 Twitter의 초기 ChatGPT 채택자들의 주제와 감정을 파악하고, 주요 주제 전반에서 주로 긍정적 시각을 보이며 일부 교육 및 사회적 우려를 드러냄.

ABSTRACT

Large language models have recently attracted significant attention due to their impressive performance on a variety of tasks. ChatGPT developed by OpenAI is one such implementation of a large, pre-trained language model that has gained immense popularity among early adopters, where certain users go to the extent of characterizing it as a disruptive technology in many domains. Understanding such early adopters' sentiments is important because it can provide insights into the potential success or failure of the technology, as well as its strengths and weaknesses. In this paper, we conduct a mixed-method study using 10,732 tweets from early ChatGPT users. We first use topic modelling to identify the main topics and then perform an in-depth qualitative sentiment analysis of each topic. Our results show that the majority of the early adopters have expressed overwhelmingly positive sentiments related to topics such as Disruptions to software development, Entertainment and exercising creativity. Only a limited percentage of users expressed concerns about issues such as the potential for misuse of ChatGPT, especially regarding topics such as Impact on educational aspects. We discuss these findings by providing specific examples for each topic and then detail implications related to addressing these concerns for both researchers and users.

연구 동기 및 목표

• ChatGPT 초기 도입자의 특성(위치, 직업, 검증 여부)을 이해한다
• Twitter에서 ChatGPT에 대해 논의되는 주요 주제를 토픽 모델링으로 식별한다
• 식별된 각 주제에 대해 초기 adopters가 표현한 감정을 평가한다
• 감정과 주제에 기반한 시사점과 향후 연구 방향을 제시한다

제안 방법

• Twitter에서의 데이터셋 구성(2022년 12월 5–7일)으로 영어 트윗에 'ChatGPT'를 포함
• 중복 제거 및 전처리(소문자화, 잡음 제거, 불용어 제거, 표제어 추출)
• LDA(MALLET)를 이용한 토픽 모델링으로 최적 토픽 수(N=9) 결정
• 9개 토픽 데이터셋에 대해 수작업으로 질적 감정 라벨링(각 토픽당 100트윗) -1/0/1 라벨
• 토픽 내 패턴 식별을 위한 개방 코딩; 다섯 저자 간 합의 해결

실험 결과

연구 질문

• RQ1 RQ1: ChatGPT 초기 도입자의 특성은 무엇인가?
• RQ2 RQ2: Twitter에서 ChatGPT에 대해 논의되는 주요 토픽은 무엇인가?
• RQ3 RQ3: Twitter의 ChatGPT 토픽에 대해 어떤 감정이 표현되는가?

주요 결과

• LDA를 통해 식별된 아홉 가지 토픽: 소프트웨어 개발의 중단/방해, 엔터테인먼트 및 창의성 발휘, 자연어 처리, 교육적 측면에 대한 영향, 챗봇 지능, 비즈니스 개발에의 영향, 검색 엔진에 대한 시사점, Q&A 테스트, 미래 경력 및 기회
• 소프트웨어 개발의 중단/방해: 81% 긍정적 감정
• 엔터테인먼트 및 창의성 발휘: 92% 긍정적 감정
• 자연어 처리: 대다수 긍정적이지만 일부 우려; 83% 긍정, 14% 부정, 3% 중립
• 챗봇 지능: 78% 긍정, 20% 부정, 2% 중립
• 교육적 측면에 대한 영향: 52% 긍정, 32% 부정, 16% 중립
• 비즈니스 개발에의 영향: 75% 긍정, 5% 부정, 20% 중립
• 검색 엔진에 대한 시사점: 54% 긍정, 15% 부정, 31% 중립
• Q&A 테스트: 38% 긍정, 40% 중립, 22% 부정
• 미래 경력 및 기회: 기술, 협업 및 산업 트렌드에 대한 광범위한 토론 주제