[논문 리뷰] Public Attitudes Toward ChatGPT on Twitter: Sentiments, Topics, and Occupations

Ratanond Koonchanok, Yanling Pan외 1명|arXiv (Cornell University)|2023. 06. 22.

Sentiment Analysis and Opinion Mining참고 문헌 48인용 수 5

한 줄 요약

이 연구는 2022년 12월부터 2023년 6월까지의 기간 동안 트위터에서의 ChatGPT 관련 공공의 감성, 주제, 사용자 직업을 자연어 처리 기법을 사용해 분석한다. 주로 중립에서 긍정적인 감성이 지배적이며 시간이 지남에 따라 감소하는 경향을 보이며, 교육 및 사이버보안과 같은 주요 토론 주제를 확인하고, 직업에 따라 다른 토론 패턴을 드러낸다. 예를 들어, 예술 및 엔터테인먼트 분야의 사용자가 ChatGPT에 대해 가장 자주 언급하는 반면, 컴퓨터/수학 전문가들은 사이버보안에 초점을 맞춘다.

ABSTRACT

ChatGPT sets a new record with the fastest-growing user base, as a chatbot powered by a large language model (LLM). While it demonstrates state-of-the-art capabilities in a variety of language-generation tasks, it also raises widespread public concerns regarding its societal impact. In this paper, we investigated public attitudes towards ChatGPT by applying natural language processing techniques such as sentiment analysis and topic modeling to Twitter data from December 5, 2022 to June 10, 2023. Our sentiment analysis result indicates that the overall sentiment was largely neutral to positive, and negative sentiments were decreasing over time. Our topic model reveals that the most popular topics discussed were Education, Bard, Search Engines, OpenAI, Marketing, and Cybersecurity, but the ranking varies by month. We also analyzed the occupations of Twitter users and found that those with occupations in arts and entertainment tweeted aboutChatGPT most frequently. Additionally, people tended to tweet about topics relevant to their occupation. For instance, Cybersecurity is the most discussed topic among those with occupations related to computer and math, and Education is the most discussed topic among those in academic and research. Overall, our exploratory study provides insights into the public perception of ChatGPT, which could be valuable to both the general public and developers of this technology.

연구 동기 및 목표

• 트위터에서의 ChatGPT에 대한 공공의 감성과 그 시간에 따른 변화를 이해하는 것.
• ChatGPT 관련으로 가장 많이 논의되는 주제를 특정하고 각 주제 내 감성 추세를 분석하는 것.
• ChatGPT에 대해 논의하는 사용자의 직업 배경을 분석하고, 각 직업 집단이 선호하는 주제를 탐색하는 것.
• 개발자, 교육자, 정책 입안자들을 위한 LLM(대규모 언어 모델)에 대한 공공 인식에 대한 통찰을 제공하는 것.

제안 방법

• 120만 개의 ChatGPT 관련 트윗에 대해 XLM-T 및 Twitter-roBERTa 모델을 활용한 감성 분석을 적용하였다.
• LDA 기반 주제 모델링을 사용해 시간에 따라 반복되는 토론 주제를 발견하고 순위를 매겼다.
• 사용자 프로필 설명문에 포함된 단어와 이종어를 기반으로 수작업으로 구성된 직업 목록(제목-직업, 수식어-직업, 关련 키워드-직업)과 매칭하여 사용자 직업을 추출하였다.
• 사용자 설명문에서 먼저 나타나는 용어를 우선시하고, 모호한 매칭의 경우 다수결 투표 방식을 사용하여 직업 추출 정확도를 향상시켰다.
• 수동으로 레이블링된 1,000개 샘플을 평가하여 XLM-T 모델이 인간 레이블링 감성 분포와 더 잘 일치함을 확인하고, 최종 감성 분석에 XLM-T를 선택하였다.

실험 결과

연구 질문

• RQ1 트위터에서의 ChatGPT에 대한 공공의 감성은 어떠한가? 그리고 시간이 지남에 따라 어떻게 변화하는가?
• RQ2 사람들은 ChatGPT와 관련해 어떤 주제를 논의하는가? 각 주제 내 감성 추세는 어떠한가?
• RQ3 트위터에서 ChatGPT에 대해 게시하는 사용자의 직업은 무엇이며, 각 직업 집단은 어떤 주제를 논의하는가?

주요 결과

• 트위터에서의 ChatGPT에 대한 전체 감성은 중립에서 긍정적이었으며, 시간이 지남에 따라 부정적 감성 비율이 감소하는 경향을 보였다.
• 가장 논의된 주제는 교육, Bard, 검색 엔진, OpenAI, 마케팅, 사이버보안이었으며, 주제 순위는 매달 변화하였다.
• 예술 및 엔터테인먼트 분야의 사용자가 ChatGPT에 대해 가장 자주 게시하였고, 그 다음으로 컴퓨터 및 수학 분야, 학술/연구 분야의 사용자가 뒤이었다.
• 직업의 관련성에 따라 주제 집중도가 달라졌다: 컴퓨터 및 수학 전문가들은 사이버보안 주제에 가장 많이 논의하였고, 학술 및 연구자들은 교육 주제에 집중하였다.
• XLM-T 모델은 Twitter-roBERTa보다 인간 레이블링 감성 분포와 더 잘 일치했지만, 둘 다 부정적 감성을 과소 평가하고 긍정적 감성을 과대 평가하였다.
• 직업 추출 정확도는 60.37%를 기록했으며(제목 및 수식어에서 48.35%, 키워드에서 +12.02%), 다수결 투표 방식이 모호한 경우의 정확도를 향상시켰다.