[論文レビュー] Public Attitudes Toward ChatGPT on Twitter: Sentiments, Topics, and Occupations

Ratanond Koonchanok, Yanling Pan+1 more|arXiv (Cornell University)|Jun 22, 2023

Sentiment Analysis and Opinion Mining参考文献 48被引用数 5

ひとこと要約

本研究では、2022年12月から2023年6月にかけてのTwitter上におけるChatGPT関連の投稿を自然言語処理技術を用いて分析し、公共の感情、トピック、およびユーザーの職業を検討した。感情は主にニュートラルからポジティブであり、時間の経過とともに低下傾向にあった。教育やサイバーセキュリティといった主要な議論トピックが特定され、職業別に異なる議論パターンが明らかになった。例えば、芸術・エンターテインメント分野のユーザーはChatGPTについて最も頻繁に発言しており、コンピュータ・数学分野の専門家は主にサイバーセキュリティに注目している。

ABSTRACT

ChatGPT sets a new record with the fastest-growing user base, as a chatbot powered by a large language model (LLM). While it demonstrates state-of-the-art capabilities in a variety of language-generation tasks, it also raises widespread public concerns regarding its societal impact. In this paper, we investigated public attitudes towards ChatGPT by applying natural language processing techniques such as sentiment analysis and topic modeling to Twitter data from December 5, 2022 to June 10, 2023. Our sentiment analysis result indicates that the overall sentiment was largely neutral to positive, and negative sentiments were decreasing over time. Our topic model reveals that the most popular topics discussed were Education, Bard, Search Engines, OpenAI, Marketing, and Cybersecurity, but the ranking varies by month. We also analyzed the occupations of Twitter users and found that those with occupations in arts and entertainment tweeted aboutChatGPT most frequently. Additionally, people tended to tweet about topics relevant to their occupation. For instance, Cybersecurity is the most discussed topic among those with occupations related to computer and math, and Education is the most discussed topic among those in academic and research. Overall, our exploratory study provides insights into the public perception of ChatGPT, which could be valuable to both the general public and developers of this technology.

研究の動機と目的

• Twitter上におけるChatGPTに対する公共の感情を理解し、その時間的推移を明らかにすること。
• ChatGPT関連で議論されている主なトピックを特定し、各トピックにおける感情の動向を分析すること。
• ChatGPTについて発言するユーザーの職業的背景を検討し、各職業グループのトピック好まれを調査すること。
• 開発者、教育者、政策立案者にとってのLLM（例：ChatGPT）に対する一般の認識を明らかにすること。

提案手法

• 120万件のChatGPT関連ツイートに対して、XLM-TおよびTwitter-roBERTaモデルを用いた感情分析を実施。
• LDAベースのトピックモデリングを用い、時間経過に伴う繰り返し発生する議論テーマを同定・順位付けした。
• ユーザーの職業を特定するため、Twitterのユーザープロフィールに含まれる単語（1語語）および2語語（2語語）を、事前に整備した職業リスト（タイトル→職業、修飾語→職業、キーワード→職業）と照合した。
• プロフィール文における語の出現順序を優先し、曖昧な照合結果については多数決による投票を適用することで、職業抽出の正確性を向上させた。
• 1,000件の手動ラベル付きサンプルを用いてモデル性能を評価し、人間ラベルの感情分布とより整合性の高いXLM-Tを選定し、最終的な感情分析に採用した。

実験結果

リサーチクエスチョン

• RQ1 ツイートにおけるChatGPTに対する公共の感情は何か。また、その感情は時間経過とともにどのように変化するか。
• RQ2 人々がChatGPT関連で議論している主なトピックは何か。各トピックにおける感情の動向はいかがなっているか。
• RQ3 TwitterでChatGPTについて発言するユーザーの職業は何か。各職業グループはどのトピックに注目しているか。

主な発見

• Twitter上でのChatGPTに対する全体的な感情は、主にニュートラルからポジティブであり、時間の経過とともにネガティブ感情が低下傾向にあった。
• 最も議論の多かったトピックは教育、Bard、検索エンジン、OpenAI、マーケティング、サイバーセキュリティであり、トピックの順位は月ごとに変化した。
• 芸術・エンターテインメント分野のユーザーが、ChatGPTについて発言する最も頻度の高いグループであり、次いでコンピュータ・数学分野、学術研究分野のユーザーが続いた。
• 職業的関連性がトピックの焦点を形作った：コンピュータ・数学専門家はサイバーセキュリティを最も議論しており、学術研究者らは教育分野に注目していた。
• XLM-TモデルはTwitter-roBERTaよりも人間ラベルの感情分布とより整合性が高かったが、両者ともネガティブ感情を低く評価し、ポジティブ感情を過大評価していた。
• 職業抽出の成功率は60.37％（タイトル・修飾語から48.35％、キーワードから+12.02％）を達成し、多数決による処理が曖昧ケースの正確性向上に寄与した。