[論文レビュー] Excitements and Concerns in the Post-ChatGPT Era: Deciphering Public Perception of AI through Social Media Analysis

Weihong Qi, Jinsheng Pan+2 more|arXiv (Cornell University)|Jul 11, 2023

Misinformation and Its Impacts被引用数 10

ひとこと要約

この論文は、BERTopicを用いたトピックモデリング、ゼロショット感情分析、LIWCベースの言語特徴を、388のサブレディットと33,912件のコメントに対して、ChatGPT後のRedditにおけるAIの公的認識を分析している。

ABSTRACT

As AI systems become increasingly prevalent in various aspects of daily life, gaining a comprehensive understanding of public perception towards these AI systems has become increasingly essential for several reasons such as ethical considerations, user experience, fear, disinformation, regulation, collaboration, and co-creation. In this study, we investigate how mass social media users perceive the recent rise of AI frameworks such as ChatGPT. We collect a total of 33,912 comments in 388 unique subreddits spanning from November 30, 2022 to June 8, 2023 using a list of AI-related keywords. We employ BERTopic to uncover the major themes regarding AI on Reddit. Additionally, we seek to gain deeper insights into public opinion by examining the distribution of topics across different subreddits. We observe that technology-related subreddits predominantly focus on the technical aspects of AI models. On the other hand, non-tech subreddits show greater interest in social issues such as concerns about job replacement or furlough. We leverage zero-shot prompting to analyze the sentiment and perception of AI among individual users. Through a comprehensive sentiment and emotion analysis, we discover that tech-centric communities exhibit greater polarization compared to non-tech communities when discussing AI topics. This research contributes to our broader understanding of public opinion surrounding artificial intelligence.

研究の動機と目的

• ChatGPT のような AI フレームワークの台頭を、大規模ソーシャルメディア利用者がどのように認識しているかを理解する。
• さまざまなRedditコミュニティ全体で主要なテーマとトピック分布を特定する。
• トピックとサブレディット全体の感情と情緒的トーンを検討し、技術系と非技術系グループ間の差を明らかにする。

提案手法

• AI関連キーワードを用いて、388のサブレディットから33,912件のRedditコメントを収集（2022年11月30日 – 2023年6月8日）。
• すべてのMiniLM-L6-v2 埋め込みを用いてBERTopicを適用し、232のトピックを抽出（16件の外れ値を除外）。
• 感情ラベルにはゼロショット prompting（gpt-3.5-turbo）を使用して感情ラベルを付与し、ポジティブ・ニュートラル・ネガティブのラベルと、最終感情を割り当てるためのキーワードベースの集約。
• LIWCベースの言語分析を実施して、Tone、Emotion、Prosocial、Conflictの指標を取得。
• 技術系と非技術系サブレディット間で LIWC 属性を比較するために、線形回帰を実行（Techをバイナリ変数として使用）。
• コミュニティ間でトピック分布と感情をマッピングするためのクロスサブレディット分析を実施。

実験結果

リサーチクエスチョン

• RQ1 RQ1: RedditにおけるAI議論を特徴づけるトピックは何で、サブレディット間でそれらはどう変化するか？
• RQ2 RQ2: 最も議論されているトピックに対する支配的な感情は何か、サブレディット間で感情は異なるか？

主な発見

• 主要なトピックには、AIの意識と知性、 gamingと戦略におけるAI、AIモデルとプロンプトエンジニアリング、OpenAIとAI産業、AIと雇用自動化が含まれる。
• 技術系サブレディットは技術的側面により焦点を当て、非技術系サブレディットは雇用の代替やプライバシーなどの社会的影響を強調する。
• 技術系コミュニティはより高いポジティブなトーンと総体的な感情表現を示し、感情の極性が大きいことを示唆する。
• 技術系サブレディットはより高いProsocialスコアを示し、AI議論において助け合いの示唆が多いことを示す。
• サブレディット全体で、いくつかのトピックは高いポジティブ感情を示す（例：AI in Gaming and Strategy、The Potential Impact of AI on Society）一方で、他はよりネガティブな感情を示す（例：Consciousness and Intelligence of AI、AI Industry、Job Automation）。
• クロス-subreddit分析は、複数のサブレディットで特に普及している3つのトピックとして、Consciousness/Intelligence、OpenAI/AI Industry、AI and Job Automationを示す。